Churn analysis

В этом задании предлагается проанализировать данные одной из американских телекоммуникационных компаний о пользователях, которые потенциально могут уйти.

Измерены следующие признаки:

  • state — штат США
  • account_length — длительность использования аккаунта
  • area_code — деление пользователей на псевдорегионы, использующееся в телекоме
  • intl_plan — подключена ли у пользователя услуга международного общения
  • vmail_plan — подключена ли у пользователя услуга голосовых сообщений
  • vmail_message — количество голосых сообщений, который пользователь отправил / принял
  • day_calls — сколько пользователь совершил дневных звонков
  • day_mins — сколько пользователь проговорил минут в течение дня
  • day_charge — сколько пользователь заплатил за свою дневную активность
  • eve_calls, eve_mins, eve_charge — аналогичные метрики относительно вечерней активности
  • night_calls, night_mins, night_charge — аналогичные метрики относительно ночной активности
  • intl_calls, intl_mins, intl_charge — аналогичные метрики относительно международного общения
  • custserv_calls — сколько раз пользователь позвонил в службу поддержки
  • treatment — номер стратегии, которая применялись для удержания абонентов (0, 2 = два разных типа воздействия, 1 = контрольная группа)
  • mes_estim — оценка интенсивности пользования интернет мессенджерами
  • churn — результат оттока: перестал ли абонент пользоваться услугами оператора

In [242]:
from __future__ import division

import numpy as np
import pandas as pd
import scipy as sc

from scipy import stats
from statsmodels.stats.proportion import proportion_confint
from statsmodels.sandbox.stats.multicomp import multipletests 

from itertools import combinations

%matplotlib inline
import matplotlib.pyplot as plt
import seaborn as sns

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

In [2]:
#reading data
churn = pd.read_csv('churn_analysis.csv')
churn.info()


<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3333 entries, 0 to 3332
Data columns (total 23 columns):
Unnamed: 0        3333 non-null int64
state             3333 non-null object
account_length    3333 non-null int64
area_code         3333 non-null int64
intl_plan         3333 non-null object
vmail_plan        3333 non-null object
vmail_message     3333 non-null int64
day_mins          3333 non-null float64
day_calls         3333 non-null int64
day_charge        3333 non-null float64
eve_mins          3333 non-null float64
eve_calls         3333 non-null int64
eve_charge        3333 non-null float64
night_mins        3333 non-null float64
night_calls       3333 non-null int64
night_charge      3333 non-null float64
intl_mins         3333 non-null float64
intl_calls        3333 non-null int64
intl_charge       3333 non-null float64
custserv_calls    3333 non-null int64
treatment         3333 non-null int64
mes_estim         3333 non-null float64
churn             3333 non-null object
dtypes: float64(9), int64(10), object(4)
memory usage: 599.0+ KB

In [3]:
pd.set_option('display.max_columns', None)
churn.columns
churn.drop('Unnamed: 0', axis=1, inplace=True)
churn.head()


Out[3]:
Index([u'Unnamed: 0', u'state', u'account_length', u'area_code', u'intl_plan',
       u'vmail_plan', u'vmail_message', u'day_mins', u'day_calls',
       u'day_charge', u'eve_mins', u'eve_calls', u'eve_charge', u'night_mins',
       u'night_calls', u'night_charge', u'intl_mins', u'intl_calls',
       u'intl_charge', u'custserv_calls', u'treatment', u'mes_estim',
       u'churn'],
      dtype='object')
Out[3]:
state account_length area_code intl_plan vmail_plan vmail_message day_mins day_calls day_charge eve_mins eve_calls eve_charge night_mins night_calls night_charge intl_mins intl_calls intl_charge custserv_calls treatment mes_estim churn
0 KS 128 415 no yes 25 265.1 110 45.07 197.4 99 16.78 244.7 91 11.01 10.0 3 2.70 1 1 0.65 False.
1 OH 107 415 no yes 26 161.6 123 27.47 195.5 103 16.62 254.4 103 11.45 13.7 3 3.70 1 0 0.55 False.
2 NJ 137 415 no no 0 243.4 114 41.38 121.2 110 10.30 162.6 104 7.32 12.2 5 3.29 0 0 0.72 False.
3 OH 84 408 yes no 0 299.4 71 50.90 61.9 88 5.26 196.9 89 8.86 6.6 7 1.78 2 1 0.28 False.
4 OK 75 415 yes no 0 166.7 113 28.34 148.3 122 12.61 186.9 121 8.41 10.1 3 2.73 3 2 0.45 False.

In [4]:
churn.churn.loc[churn.churn == 'True.'] = True
churn.churn.loc[churn.churn == 'False.'] = False
churn.head()


C:\ProgramData\Anaconda3\envs\python2\lib\site-packages\pandas\core\indexing.py:179: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy
  self._setitem_with_indexer(indexer, value)
Out[4]:
state account_length area_code intl_plan vmail_plan vmail_message day_mins day_calls day_charge eve_mins eve_calls eve_charge night_mins night_calls night_charge intl_mins intl_calls intl_charge custserv_calls treatment mes_estim churn
0 KS 128 415 no yes 25 265.1 110 45.07 197.4 99 16.78 244.7 91 11.01 10.0 3 2.70 1 1 0.65 False
1 OH 107 415 no yes 26 161.6 123 27.47 195.5 103 16.62 254.4 103 11.45 13.7 3 3.70 1 0 0.55 False
2 NJ 137 415 no no 0 243.4 114 41.38 121.2 110 10.30 162.6 104 7.32 12.2 5 3.29 0 0 0.72 False
3 OH 84 408 yes no 0 299.4 71 50.90 61.9 88 5.26 196.9 89 8.86 6.6 7 1.78 2 1 0.28 False
4 OK 75 415 yes no 0 166.7 113 28.34 148.3 122 12.61 186.9 121 8.41 10.1 3 2.73 3 2 0.45 False

Давайте рассмотрим всех пользователей из контрольной группы (treatment = 1). Для таких пользователей мы хотим проверить гипотезу о том, что штат абонента не влияет на то, перестанет ли абонент пользоваться услугами оператора.

Для этого мы воспользуемся критерием хи-квадрат. Построим таблицы сопряженности между каждой из всех 1275 возможных неупорядоченных пар штатов и значением признака churn. Для каждой такой таблицы 2x2 применить критерий хи-квадрат можно с помощью функции scipy.stats.chi2_contingency(subtable, correction=False).

Заметьте, что, например, (AZ, HI) и (HI, AZ) — это одна и та же пара. Обязательно выставим correction=False (о том, что это значит мы узнаем далее).

Сколько достигаемых уровней значимости оказались меньше, чем α=0.05?


In [265]:
pt_states = pd.pivot_table(churn.loc[churn.treatment == 1], values='treatment', index='state', columns='churn',
                               aggfunc=len, fill_value=0)
pt_states


Out[265]:
churn False True
state
AK 19 1
AL 25 5
AR 11 5
AZ 17 2
CA 10 5
CO 17 5
CT 25 5
DC 18 1
DE 16 1
FL 18 2
GA 19 2
HI 12 1
IA 13 2
ID 16 2
IL 11 1
IN 20 3
KS 18 7
KY 21 4
LA 15 0
MA 17 7
MD 19 5
ME 20 8
MI 17 5
MN 19 2
MO 17 4
MS 20 4
MT 22 4
NC 16 3
ND 21 3
NE 21 3
NH 10 2
NJ 20 4
NM 27 2
NV 18 6
NY 27 6
OH 22 2
OK 11 2
OR 18 3
PA 14 4
RI 18 4
SC 16 5
SD 20 3
TN 11 1
TX 14 6
UT 18 4
VA 20 3
VT 18 5
WA 16 7
WI 22 2
WV 27 5
WY 20 2

In [94]:
pt_states.index


Out[94]:
Index([u'AK', u'AL', u'AR', u'AZ', u'CA', u'CO', u'CT', u'DC', u'DE', u'FL',
       u'GA', u'HI', u'IA', u'ID', u'IL', u'IN', u'KS', u'KY', u'LA', u'MA',
       u'MD', u'ME', u'MI', u'MN', u'MO', u'MS', u'MT', u'NC', u'ND', u'NE',
       u'NH', u'NJ', u'NM', u'NV', u'NY', u'OH', u'OK', u'OR', u'PA', u'RI',
       u'SC', u'SD', u'TN', u'TX', u'UT', u'VA', u'VT', u'WA', u'WI', u'WV',
       u'WY'],
      dtype='object', name=u'state')

In [138]:
chi2_val = pd.DataFrame(columns=['state 1', 'state 2', 'chi2_stat', 'p-value'])
i = 0
for st1, st2 in combinations(pt_states.index, 2):
    chi2_table = pt_states.loc[[st1, st2],:]
    chi2_val.loc[i, 'state 1'] = st1
    chi2_val.loc[i, 'state 2'] = st2
    chi2_stat = stats.chi2_contingency(chi2_table.values, correction=False)
    chi2_val.loc[i, 'chi2_stat'] = chi2_stat[0]
    chi2_val.loc[i, 'p-value'] = chi2_stat[1]
    i += 1

In [143]:
pd.set_option('display.max_rows', None)
chi2_val


Out[143]:
state 1 state 2 chi2_stat p-value
0 AK AL 1.54672 0.213621
1 AK AR 4.41 0.0357288
2 AK AZ 0.419079 0.517397
3 AK CA 4.84435 0.0277369
4 AK CO 2.68864 0.101066
5 AK CT 1.54672 0.213621
6 AK DC 0.00138691 0.970293
7 AK DE 0.0139916 0.905841
8 AK FL 0.36036 0.548306
9 AK GA 0.309127 0.578216
10 AK HI 0.10031 0.751458
11 AK IA 0.759549 0.38347
12 AK ID 0.486561 0.485465
13 AK IL 0.142222 0.706082
14 AK IN 0.820332 0.365083
15 AK KS 4.02111 0.044934
16 AK KY 1.36125 0.243321
17 AK LA 0.772059 0.379581
18 AK MA 4.28287 0.0384983
19 AK MD 2.32222 0.127538
20 AK ME 4.25495 0.0391362
21 AK MI 2.68864 0.101066
22 AK MN 0.309127 0.578216
23 AK MO 1.88784 0.169445
24 AK MS 1.47419 0.224686
25 AK MT 1.25831 0.261971
26 AK NC 1.23231 0.266958
27 AK ND 0.7425 0.388861
28 AK NE 0.7425 0.388861
29 AK NH 1.20153 0.273016
30 AK NJ 1.47419 0.224686
31 AK NM 0.0740755 0.785493
32 AK NV 3.26178 0.0709123
33 AK NY 1.88762 0.169471
34 AK OH 0.190786 0.662263
35 AK OK 1.02808 0.310611
36 AK OR 1.00323 0.316529
37 AK PA 2.45912 0.116844
38 AK RI 1.73572 0.187681
39 AK SC 2.90115 0.0885166
40 AK SD 0.820332 0.365083
41 AK TN 0.142222 0.706082
42 AK TX 4.329 0.0374682
43 AK UT 1.73572 0.187681
44 AK VA 0.820332 0.365083
45 AK VT 2.49654 0.114096
46 AK WA 4.57009 0.0325349
47 AK WI 0.190786 0.662263
48 AK WV 1.36123 0.243324
49 AK WY 0.264336 0.607157
50 AL AR 1.3044 0.253411
51 AL AZ 0.358187 0.549515
52 AL CA 1.60714 0.204894
53 AL CO 0.300144 0.583792
54 AL CT 0 1
55 AL DC 1.40776 0.235429
56 AL DE 1.13323 0.287087
57 AL FL 0.442968 0.505693
58 AL GA 0.532236 0.465668
59 AL HI 0.608397 0.435392
60 AL IA 0.0845865 0.771176
61 AL ID 0.278746 0.597525
62 AL IL 0.486111 0.485667
63 AL IN 0.133353 0.71498
64 AL KS 1.02681 0.310909
65 AL KY 0.00442834 0.946943
66 AL LA 2.8125 0.0935325
67 AL MA 1.20536 0.272254
68 AL MD 0.153409 0.695299
69 AL ME 1.1803 0.277295
70 AL MI 0.300144 0.583792
71 AL MN 0.532236 0.465668
72 AL MO 0.0481859 0.82625
73 AL MS 0 1
74 AL MT 0.0169728 0.896345
75 AL NC 0.0065522 0.935485
76 AL ND 0.183424 0.668447
77 AL NE 0.183424 0.668447
78 AL NH 0 1
79 AL NJ 0 1
80 AL NM 1.34607 0.245965
81 AL NV 0.570825 0.449931
82 AL NY 0.0250318 0.874288
83 AL OH 0.820669 0.364985
84 AL OK 0.0109381 0.916705
85 AL OR 0.0529485 0.81801
86 AL PA 0.22792 0.63307
87 AL RI 0.0203586 0.88654
88 AL SC 0.399826 0.527179
89 AL SD 0.133353 0.71498
90 AL TN 0.486111 0.485667
91 AL TX 1.2432 0.264855
92 AL UT 0.0203586 0.88654
93 AL VA 0.133353 0.71498
94 AL VT 0.218824 0.639938
95 AL WA 1.40899 0.235224
96 AL WI 0.820669 0.364985
97 AL WV 0.0124199 0.911264
98 AL WY 0.625301 0.429084
99 AR AZ 2.33141 0.126787
100 AR CA 0.015377 0.901312
101 AR CO 0.346997 0.555818
102 AR CT 1.3044 0.253411
103 AR DC 4.12952 0.0421413
104 AR DE 3.56556 0.0589897
105 AR FL 2.56256 0.109421
106 AR GA 2.7944 0.0945941
107 AR HI 2.42576 0.119355
108 AR IA 1.4216 0.23314
109 AR ID 2.10126 0.147177
110 AR IL 2.13889 0.143606
111 AR IN 1.91829 0.166045
112 AR KS 0.0497773 0.823451
113 AR KY 1.32431 0.249819
114 AR LA 5.58894 0.0180742
115 AR MA 0.0198413 0.887981
116 AR MD 0.555556 0.456057
117 AR ME 0.0350939 0.851399
118 AR MI 0.346997 0.555818
119 AR MN 2.7944 0.0945941
120 AR MO 0.734564 0.391408
121 AR MS 1.17085 0.279227
122 AR MT 1.48077 0.223654
123 AR NC 1.17743 0.277879
124 AR ND 2.10938 0.146399
125 AR NE 2.10938 0.146399
126 AR NH 0.777778 0.377822
127 AR NJ 1.17085 0.279227
128 AR NM 4.65554 0.0309535
129 AR NV 0.188088 0.664513
130 AR NY 1.05702 0.303895
131 AR OH 3.49206 0.0616637
132 AR OK 0.98592 0.320742
133 AR OR 1.54214 0.214299
134 AR PA 0.354691 0.551469
135 AR RI 0.875218 0.349515
136 AR SC 0.254905 0.613642
137 AR SD 1.91829 0.166045
138 AR TN 2.13889 0.143606
139 AR TX 0.00654545 0.935518
140 AR UT 0.875218 0.349515
141 AR VA 1.91829 0.166045
142 AR VT 0.447667 0.503445
143 AR WA 0.00294384 0.95673
144 AR WI 3.49206 0.0616637
145 AR WV 1.57895 0.208912
146 AR WY 3.02671 0.0819041
147 AZ CA 2.66685 0.102458
148 AZ CO 1.07194 0.300507
149 AZ CT 0.358187 0.549515
150 AZ DC 0.361905 0.54745
151 AZ DE 0.253307 0.614756
152 AZ FL 0.00293233 0.956815
153 AZ GA 0.011139 0.915946
154 AZ HI 0.0729676 0.787064
155 AZ IA 0.0636257 0.800854
156 AZ ID 0.0032784 0.95434
157 AZ IL 0.0404657 0.840573
158 AZ IN 0.062861 0.80203
159 AZ KS 2.02584 0.154644
160 AZ KY 0.274645 0.600233
161 AZ LA 1.67763 0.195239
162 AZ MA 2.22649 0.135662
163 AZ MD 0.826606 0.363256
164 AZ ME 2.20053 0.137963
165 AZ MI 1.07194 0.300507
166 AZ MN 0.011139 0.915946
167 AZ MO 0.568087 0.45102
168 AZ MS 0.333017 0.563888
169 AZ MT 0.224229 0.635836
170 AZ NC 0.230303 0.631299
171 AZ ND 0.0402008 0.841088
172 AZ NE 0.0402008 0.841088
173 AZ NH 0.246751 0.619372
174 AZ NJ 0.333017 0.563888
175 AZ NM 0.197987 0.656351
176 AZ NV 1.46701 0.225818
177 AZ NY 0.542845 0.461256
178 AZ OH 0.0604476 0.80579
179 AZ OK 0.16657 0.683178
180 AZ OR 0.128894 0.719582
181 AZ PA 0.930642 0.334696
182 AZ RI 0.478287 0.489199
183 AZ SC 1.21906 0.269544
184 AZ SD 0.062861 0.80203
185 AZ TN 0.0404657 0.840573
186 AZ TX 2.26617 0.132226
187 AZ UT 0.478287 0.489199
188 AZ VA 0.062861 0.80203
189 AZ VT 0.941876 0.331796
190 AZ WA 2.44934 0.117574
191 AZ WI 0.0604476 0.80579
192 AZ WV 0.261721 0.60894
193 AZ WY 0.0238588 0.877245
194 CA CO 0.508698 0.475703
195 CA CT 1.60714 0.204894
196 CA DC 4.5447 0.0330209
197 CA DE 3.94168 0.0471037
198 CA FL 2.91667 0.0876688
199 CA GA 3.16678 0.0751503
200 CA HI 2.7195 0.0991289
201 CA IA 1.67702 0.195321
202 CA ID 2.41758 0.11998
203 CA IL 2.41071 0.120507
204 CA IN 2.24879 0.133719
205 CA KS 0.126984 0.72158
206 CA KY 1.61529 0.203749
207 CA LA 6 0.0143059
208 CA MA 0.0752315 0.783867
209 CA MD 0.756466 0.384437
210 CA ME 0.105006 0.745903
211 CA MI 0.508698 0.475703
212 CA MN 3.16678 0.0751503
213 CA MO 0.952381 0.329114
214 CA MS 1.44444 0.229421
215 CA MT 1.78864 0.181092
216 CA NC 1.43387 0.231133
217 CA ND 2.45716 0.11699
218 CA NE 2.45716 0.11699
219 CA NH 0.964286 0.326109
220 CA NJ 1.44444 0.229421
221 CA NM 5.16487 0.0230482
222 CA NV 0.316558 0.573683
223 CA NY 1.34018 0.247002
224 CA OH 3.91741 0.0477884
225 CA OK 1.19658 0.274006
226 CA OR 1.83673 0.175334
227 CA PA 0.509259 0.47546
228 CA RI 1.11231 0.29158
229 CA SC 0.395604 0.529368
230 CA SD 2.24879 0.133719
231 CA TN 2.41071 0.120507
232 CA TX 0.0441919 0.833497
233 CA UT 1.11231 0.29158
234 CA VA 2.24879 0.133719
235 CA VT 0.6294 0.427576
236 CA WA 0.0353029 0.850962
237 CA WI 3.91741 0.0477884
238 CA WV 1.91202 0.166739
239 CA WY 3.41703 0.0645271
240 CO CT 0.300144 0.583792
241 CO DC 2.48905 0.114641
242 CO DE 2.0903 0.148237
243 CO FL 1.22182 0.269004
244 CO GA 1.37431 0.241072
245 CO HI 1.30044 0.254133
246 CO IA 0.513088 0.473805
247 CO ID 0.92527 0.336095
248 CO IL 1.10696 0.292743
249 CO IN 0.721377 0.395693
250 CO KS 0.171113 0.679125
251 CO KY 0.342068 0.558638
252 CO LA 3.94176 0.0471014
253 CO MA 0.246843 0.619307
254 CO MD 0.0242003 0.876376
255 CO ME 0.2187 0.640032
256 CO MI 0 1
257 CO MN 1.37431 0.241072
258 CO MO 0.0879028 0.76686
259 CO MS 0.267904 0.604741
260 CO MT 0.421732 0.516074
261 CO NC 0.312464 0.576172
262 CO ND 0.835676 0.360636
263 CO NE 0.835676 0.360636
264 CO NH 0.174443 0.676193
265 CO NJ 0.267904 0.604741
266 CO NM 2.64753 0.103711
267 CO NV 0.0325856 0.856748
268 CO NY 0.170455 0.679708
269 CO OH 1.84327 0.174568
270 CO OK 0.27535 0.599766
271 CO OR 0.505589 0.477055
272 CO PA 0.00144817 0.969644
273 CO RI 0.139683 0.708597
274 CO SC 0.00705103 0.93308
275 CO SD 0.721377 0.395693
276 CO TN 1.10696 0.292743
277 CO TX 0.286644 0.592379
278 CO UT 0.139683 0.708597
279 CO VA 0.721377 0.395693
280 CO VT 0.00635234 0.936475
281 CO WA 0.341583 0.558917
282 CO WI 1.84327 0.174568
283 CO WV 0.435821 0.509146
284 CO WY 1.52896 0.216269
285 CT DC 1.40776 0.235429
286 CT DE 1.13323 0.287087
287 CT FL 0.442968 0.505693
288 CT GA 0.532236 0.465668
289 CT HI 0.608397 0.435392
290 CT IA 0.0845865 0.771176
291 CT ID 0.278746 0.597525
292 CT IL 0.486111 0.485667
293 CT IN 0.133353 0.71498
294 CT KS 1.02681 0.310909
295 CT KY 0.00442834 0.946943
296 CT LA 2.8125 0.0935325
297 CT MA 1.20536 0.272254
298 CT MD 0.153409 0.695299
299 CT ME 1.1803 0.277295
300 CT MI 0.300144 0.583792
301 CT MN 0.532236 0.465668
302 CT MO 0.0481859 0.82625
303 CT MS 0 1
304 CT MT 0.0169728 0.896345
305 CT NC 0.0065522 0.935485
306 CT ND 0.183424 0.668447
307 CT NE 0.183424 0.668447
308 CT NH 0 1
309 CT NJ 0 1
310 CT NM 1.34607 0.245965
311 CT NV 0.570825 0.449931
312 CT NY 0.0250318 0.874288
313 CT OH 0.820669 0.364985
314 CT OK 0.0109381 0.916705
315 CT OR 0.0529485 0.81801
316 CT PA 0.22792 0.63307
317 CT RI 0.0203586 0.88654
318 CT SC 0.399826 0.527179
319 CT SD 0.133353 0.71498
320 CT TN 0.486111 0.485667
321 CT TX 1.2432 0.264855
322 CT UT 0.0203586 0.88654
323 CT VA 0.133353 0.71498
324 CT VT 0.218824 0.639938
325 CT WA 1.40899 0.235224
326 CT WI 0.820669 0.364985
327 CT WV 0.0124199 0.911264
328 CT WY 0.625301 0.429084
329 DC DE 0.00655618 0.935466
330 DC FL 0.307895 0.578975
331 DC GA 0.261013 0.609425
332 DC HI 0.0777328 0.780394
333 DC IA 0.678589 0.410073
334 DC ID 0.424263 0.514817
335 DC IL 0.114867 0.73467
336 DC IN 0.730941 0.392578
337 DC KS 3.75158 0.0527577
338 DC KY 1.23556 0.266328
339 DC LA 0.813397 0.367118
340 DC MA 4.00128 0.0454658
341 DC MD 2.14125 0.143385
342 DC ME 3.97195 0.0462642
343 DC MI 2.48905 0.114641
344 DC MN 0.261013 0.609425
345 DC MO 1.7329 0.18804
346 DC MS 1.34201 0.246679
347 DC MT 1.13866 0.285935
348 DC NC 1.11765 0.290426
349 DC ND 0.658274 0.41717
350 DC NE 0.658274 0.41717
351 DC NH 1.09419 0.295544
352 DC NJ 1.34201 0.246679
353 DC NM 0.0522686 0.819162
354 DC NV 3.03102 0.0816869
355 DC NY 1.72741 0.188742
356 DC OH 0.15402 0.694722
357 DC OK 0.930709 0.334679
358 DC OR 0.902256 0.342178
359 DC PA 2.27463 0.131506
360 DC RI 1.589 0.20747
361 DC SC 2.69104 0.100914
362 DC SD 0.730941 0.392578
363 DC TN 0.114867 0.73467
364 DC TX 4.04845 0.0442119
365 DC UT 1.589 0.20747
366 DC VA 0.730941 0.392578
367 DC VT 2.30664 0.128823
368 DC WA 4.27547 0.0386662
369 DC WI 0.15402 0.694722
370 DC WV 1.23306 0.266813
371 DC WY 0.220264 0.638839
372 DE FL 0.209112 0.647464
373 DE GA 0.171322 0.67894
374 DE HI 0.0387847 0.843876
375 DE IA 0.520712 0.470538
376 DE ID 0.305011 0.580758
377 DE IL 0.0658134 0.797533
378 DE IN 0.556976 0.455481
379 DE KS 3.21031 0.0731756
380 DE KY 0.987701 0.320305
381 DE LA 0.910816 0.339898
382 DE MA 3.43532 0.0638163
383 DE MD 1.78059 0.182077
384 DE ME 3.40336 0.0650637
385 DE MI 2.0903 0.148237
386 DE MN 0.171322 0.67894
387 DE MO 1.42504 0.232576
388 DE MS 1.08083 0.298512
389 DE MT 0.903215 0.341921
390 DE NC 0.891641 0.345033
391 DE ND 0.494982 0.481713
392 DE NE 0.494982 0.481713
393 DE NH 0.882102 0.347627
394 DE NJ 1.08083 0.298512
395 DE NM 0.0180826 0.89303
396 DE NV 2.56883 0.108988
397 DE NY 1.40974 0.2351
398 DE OH 0.0881493 0.766543
399 DE OK 0.739065 0.389961
400 DE OR 0.704399 0.401309
401 DE PA 1.90632 0.167373
402 DE RI 1.29796 0.254587
403 DE SC 2.27077 0.131834
404 DE SD 0.556976 0.455481
405 DE TN 0.0658134 0.797533
406 DE TX 3.48443 0.0619489
407 DE UT 1.29796 0.254587
408 DE VA 0.556976 0.455481
409 DE VT 1.92769 0.165012
410 DE WA 3.68286 0.0549743
411 DE WI 0.0881493 0.766543
412 DE WV 0.980684 0.32203
413 DE WY 0.139037 0.70924
414 FL GA 0.00263835 0.959035
415 FL HI 0.0507692 0.82173
416 FL IA 0.094086 0.759046
417 FL ID 0.0124183 0.911269
418 FL IL 0.0245211 0.875566
419 FL IN 0.0964302 0.756156
420 FL KS 2.25 0.133614
421 FL KY 0.346154 0.556298
422 FL LA 1.59091 0.207196
423 FL MA 2.46307 0.116551
424 FL MD 0.957014 0.32794
425 FL ME 2.4397 0.118299
426 FL MI 1.22182 0.269004
427 FL MN 0.00263835 0.959035
428 FL MO 0.671247 0.412617
429 FL MS 0.411696 0.52111
430 FL MT 0.288974 0.590879
431 FL NC 0.292198 0.588815
432 FL ND 0.0676923 0.794727
433 FL NE 0.0676923 0.794727
434 FL NH 0.304762 0.580912
435 FL NJ 0.411696 0.52111
436 FL NM 0.152069 0.696566
437 FL NV 1.65 0.198959
438 FL NY 0.650455 0.41995
439 FL OH 0.0366667 0.848145
440 FL OK 0.214456 0.643297
441 FL OR 0.175714 0.675082
442 FL PA 1.06435 0.302225
443 FL RI 0.572727 0.449177
444 FL SC 1.37979 0.240137
445 FL SD 0.0964302 0.756156
446 FL TN 0.0245211 0.875566
447 FL TX 2.5 0.113846
448 FL UT 0.572727 0.449177
449 FL VA 0.0964302 0.756156
450 FL VT 1.08168 0.298323
451 FL WA 2.69926 0.100395
452 FL WI 0.0366667 0.848145
453 FL WV 0.334286 0.563146
454 FL WY 0.0100478 0.920155
455 GA HI 0.0334791 0.854819
456 GA IA 0.128571 0.719918
457 GA ID 0.0265306 0.870611
458 GA IL 0.0130952 0.908893
459 GA IN 0.135011 0.713292
460 GA KS 2.4757 0.115618
461 GA KY 0.422032 0.515925
462 GA LA 1.51261 0.218742
463 GA MA 2.70089 0.100292
464 GA MD 1.09056 0.296347
465 GA ME 2.68034 0.101594
466 GA MI 1.37431 0.241072
467 GA MN 0 1
468 GA MO 0.777778 0.377822
469 GA MS 0.494505 0.481924
470 GA MT 0.358319 0.549441
471 GA NC 0.358038 0.549598
472 GA ND 0.100446 0.751295
473 GA NE 0.100446 0.751295
474 GA NH 0.365764 0.545323
475 GA NJ 0.494505 0.481924
476 GA NM 0.114229 0.73538
477 GA NV 1.83518 0.175517
478 GA NY 0.762281 0.382616
479 GA OH 0.0195993 0.888662
480 GA OK 0.26569 0.606238
481 GA OR 0.227027 0.633737
482 GA PA 1.20058 0.273206
483 GA RI 0.670801 0.412773
484 GA SC 1.54286 0.214193
485 GA SD 0.135011 0.713292
486 GA TN 0.0130952 0.908893
487 GA TX 2.73481 0.098183
488 GA UT 0.670801 0.412773
489 GA VA 0.135011 0.713292
490 GA VT 1.22436 0.268506
491 GA WA 2.95011 0.0858719
492 GA WI 0.0195993 0.888662
493 GA WV 0.411736 0.52109
494 GA WY 0.0023865 0.961037
495 HI IA 0.231658 0.630297
496 HI ID 0.100936 0.750709
497 HI IL 0.00348384 0.952933
498 HI IN 0.240803 0.623627
499 HI KS 2.12215 0.145182
500 HI KY 0.516587 0.472301
501 HI LA 1.19658 0.274006
502 HI MA 2.29461 0.129824
503 HI MD 1.07177 0.300546
504 HI ME 2.259 0.132839
505 HI MI 1.30044 0.254133
506 HI MN 0.0334791 0.854819
507 HI MO 0.825414 0.363602
508 HI MS 0.58109 0.445885
509 HI MT 0.458824 0.498174
510 HI NC 0.462695 0.496367
511 HI ND 0.202142 0.652998
512 HI NE 0.202142 0.652998
513 HI NH 0.475913 0.490279
514 HI NJ 0.58109 0.445885
515 HI NM 0.00856968 0.926243
516 HI NV 1.6467 0.199408
517 HI NY 0.795358 0.372485
518 HI OH 0.00465058 0.94563
519 HI OK 0.376812 0.539315
520 HI OR 0.336264 0.561994
521 HI PA 1.17804 0.277755
522 HI RI 0.734266 0.391504
523 HI SC 1.4352 0.230918
524 HI SD 0.240803 0.623627
525 HI TN 0.00348384 0.952933
526 HI TX 2.34598 0.125606
527 HI UT 0.734266 0.391504
528 HI VA 0.240803 0.623627
529 HI VT 1.17993 0.27737
530 HI WA 2.48543 0.114905
531 HI WI 0.00465058 0.94563
532 HI WV 0.503421 0.478001
533 HI WY 0.0203963 0.886436
534 IA ID 0.037931 0.845582
535 IA IL 0.16875 0.681225
536 IA IN 0.000667545 0.979387
537 IA KS 1.15651 0.28219
538 IA KY 0.0522876 0.819129
539 IA LA 2.14286 0.143235
540 IA MA 1.30361 0.253555
541 IA MD 0.352567 0.552664
542 IA ME 1.27076 0.259623
543 IA MI 0.513088 0.473805
544 IA MN 0.128571 0.719918
545 IA MO 0.205714 0.650147
546 IA MS 0.0787879 0.778947
547 IA MT 0.0320391 0.857942
548 IA NC 0.0403146 0.840867
549 IA ND 0.00573529 0.939633
550 IA NE 0.00573529 0.939633
551 IA NH 0.0586957 0.80857
552 IA NJ 0.0787879 0.778947
553 IA NM 0.495632 0.481426
554 IA NV 0.770565 0.380042
555 IA NY 0.174545 0.676103
556 IA OH 0.250714 0.616573
557 IA OK 0.0239316 0.877059
558 IA OR 0.00663594 0.935075
559 IA PA 0.434568 0.509756
560 IA RI 0.154317 0.694443
561 IA SC 0.613089 0.433627
562 IA SD 0.000667545 0.979387
563 IA TN 0.16875 0.681225
564 IA TX 1.35031 0.245224
565 IA UT 0.154317 0.694443
566 IA VA 0.000667545 0.979387
567 IA VT 0.426875 0.513526
568 IA WA 1.46902 0.2255
569 IA WI 0.250714 0.616573
570 IA WV 0.042314 0.837022
571 IA WY 0.166483 0.683257
572 ID IL 0.0617284 0.803785
573 ID IN 0.035212 0.851152
574 ID KS 1.80369 0.179267
575 ID KY 0.208328 0.648081
576 ID LA 1.77419 0.182864
577 ID MA 1.99158 0.158176
578 ID MD 0.7 0.402784
579 ID ME 1.96332 0.161159
580 ID MI 0.92527 0.336095
581 ID MN 0.0265306 0.870611
582 ID MO 0.468975 0.493459
583 ID MS 0.259259 0.61063
584 ID MT 0.164942 0.684646
585 ID NC 0.173099 0.677372
586 ID ND 0.0189189 0.890599
587 ID NE 0.0189189 0.890599
588 ID NH 0.192308 0.661003
589 ID NJ 0.259259 0.61063
590 ID NM 0.253364 0.614717
591 ID NV 1.28676 0.256645
592 ID NY 0.440275 0.50699
593 ID OH 0.0921053 0.761518
594 ID OK 0.122665 0.726161
595 ID OR 0.087395 0.767515
596 ID PA 0.8 0.371093
597 ID RI 0.388196 0.533249
598 ID SC 1.06122 0.302936
599 ID SD 0.035212 0.851152
600 ID TN 0.0617284 0.803785
601 ID TX 2.0337 0.153845
602 ID UT 0.388196 0.533249
603 ID VA 0.035212 0.851152
604 ID VT 0.805586 0.369428
605 ID WA 2.20075 0.137943
606 ID WI 0.0921053 0.761518
607 ID WV 0.194952 0.658827
608 ID WY 0.0448934 0.8322
609 IL IN 0.172832 0.677607
610 IL KS 1.85053 0.173722
611 IL KY 0.407771 0.523103
612 IL LA 1.29808 0.254565
613 IL MA 2.00893 0.156376
614 IL MD 0.9 0.342782
615 IL ME 1.97303 0.160126
616 IL MI 1.10696 0.292743
617 IL MN 0.0130952 0.908893
618 IL MO 0.681888 0.408937
619 IL MS 0.464516 0.495521
620 IL MT 0.357265 0.550029
621 IL NC 0.363832 0.546386
622 IL ND 0.140625 0.70766
623 IL NE 0.140625 0.70766
624 IL NH 0.380952 0.537094
625 IL NJ 0.464516 0.495521
626 IL NM 0.0258369 0.872299
627 IL NV 1.41872 0.233614
628 IL NY 0.649778 0.420192
629 IL OH 0 1
630 IL OK 0.293803 0.587793
631 IL OR 0.254002 0.614271
632 IL PA 1 0.317311
633 IL RI 0.600418 0.438419
634 IL SC 1.2295 0.267505
635 IL SD 0.172832 0.677607
636 IL TN 0 1
637 IL TX 2.06019 0.151191
638 IL UT 0.600418 0.438419
639 IL VA 0.172832 0.677607
640 IL VT 0.99773 0.31786
641 IL WA 2.18456 0.1394
642 IL WI 0 1
643 IL WV 0.394006 0.530201
644 IL WY 0.00553926 0.940671
645 IN KS 1.62475 0.202431
646 IN KY 0.08406 0.771869
647 IN LA 2.12422 0.144986
648 IN MA 1.82279 0.176981
649 IN MD 0.504593 0.477489
650 IN ME 1.79983 0.179733
651 IN MI 0.721377 0.395693
652 IN MN 0.135011 0.713292
653 IN MO 0.295802 0.586526
654 IN MS 0.121636 0.727267
655 IN MT 0.0546265 0.8152
656 IN NC 0.0640732 0.80017
657 IN ND 0.00311506 0.955491
658 IN NE 0.00311506 0.955491
659 IN NH 0.0845411 0.771235
660 IN NJ 0.121636 0.727267
661 IN NM 0.55767 0.455201
662 IN NV 1.08448 0.297698
663 IN NY 0.265299 0.606503
664 IN OH 0.274086 0.600604
665 IN OK 0.0380624 0.845318
666 IN OR 0.0143838 0.904537
667 IN PA 0.600861 0.43825
668 IN RI 0.22601 0.634499
669 IN SC 0.855303 0.355057
670 IN SD 0 1
671 IN TN 0.172832 0.677607
672 IN TX 1.85857 0.17279
673 IN UT 0.22601 0.634499
674 IN VA 0 1
675 IN VT 0.605263 0.436577
676 IN WA 2.04444 0.152763
677 IN WI 0.274086 0.600604
678 IN WV 0.0717471 0.78881
679 IN WY 0.177866 0.673214
680 KS KY 1.04895 0.305749
681 KS LA 5.09091 0.0240516
682 KS MA 0.00816667 0.927994
683 KS MD 0.340094 0.559775
684 KS ME 0.00212531 0.96323
685 KS MI 0.171113 0.679125
686 KS MN 2.4757 0.115618
687 KS MO 0.502729 0.478304
688 KS MS 0.903413 0.341868
689 KS MT 1.19903 0.273515
690 KS NC 0.916508 0.338394
691 KS ND 1.81112 0.178374
692 KS NE 1.81112 0.178374
693 KS NH 0.565767 0.451946
694 KS NJ 0.903413 0.341868
695 KS NM 4.3051 0.0379982
696 KS NV 0.0565385 0.812053
697 KS NY 0.788476 0.374561
698 KS OH 3.15869 0.075524
699 KS OK 0.753056 0.38551
700 KS OR 1.26171 0.261327
701 KS PA 0.18351 0.668374
702 KS RI 0.629256 0.427628
703 KS SC 0.10394 0.747151
704 KS SD 1.62475 0.202431
705 KS TN 1.85053 0.173722
706 KS TX 0.0216346 0.883063
707 KS UT 0.629256 0.427628
708 KS VA 1.62475 0.202431
709 KS VT 0.250435 0.616769
710 KS WA 0.0343734 0.852915
711 KS WI 3.15869 0.075524
712 KS WV 1.29319 0.255461
713 KS WY 2.70256 0.100187
714 KY LA 2.66667 0.10247
715 KY MA 1.21933 0.269491
716 KY MD 0.190782 0.662266
717 KY ME 1.19173 0.274981
718 KY MI 0.342068 0.558638
719 KY MN 0.422032 0.515925
720 KY MO 0.0737845 0.785904
721 KY MS 0.00398374 0.949673
722 KY MT 0.00364937 0.951829
723 KY NC 0.000357651 0.984912
724 KY ND 0.1225 0.726339
725 KY NE 0.1225 0.726339
726 KY NH 0.00265233 0.958926
727 KY NJ 0.00398374 0.949673
728 KY NM 1.12655 0.288512
729 KY NV 0.610615 0.434556
730 KY NY 0.0474545 0.827553
731 KY OH 0.669793 0.413124
732 KY OK 0.0024359 0.960637
733 KY OR 0.0259969 0.871908
734 KY PA 0.267556 0.604976
735 KY RI 0.0394406 0.842578
736 KY SC 0.442305 0.506012
737 KY SD 0.08406 0.771869
738 KY TN 0.407771 0.523103
739 KY TX 1.26 0.261651
740 KY UT 0.0394406 0.842578
741 KY VA 0.08406 0.771869
742 KY VT 0.258997 0.61081
743 KY WA 1.41298 0.234563
744 KY WI 0.669793 0.413124
745 KY WV 0.00148438 0.969267
746 KY WY 0.501611 0.478793
747 LA MA 5.33203 0.020937
748 LA MD 3.58456 0.0583189
749 LA ME 5.26531 0.0217546
750 LA MI 3.94176 0.0471014
751 LA MN 1.51261 0.218742
752 LA MO 3.21429 0.072998
753 LA MS 2.78571 0.0951083
754 LA MT 2.55717 0.109795
755 LA NC 2.59762 0.107024
756 LA ND 2.03125 0.154094
757 LA NE 2.03125 0.154094
758 LA NH 2.7 0.100348
759 LA NJ 2.78571 0.0951083
760 LA NM 1.08374 0.297862
761 LA NV 4.43182 0.0352749
762 LA NY 3.11688 0.0774849
763 LA OH 1.31757 0.251029
764 LA OK 2.48521 0.114921
765 LA OR 2.33766 0.126279
766 LA PA 3.7931 0.0514641
767 LA RI 3.05785 0.0803479
768 LA SC 4.14747 0.0416969
769 LA SD 2.12422 0.144986
770 LA TN 1.29808 0.254565
771 LA TX 5.43103 0.019782
772 LA UT 3.05785 0.0803479
773 LA VA 2.12422 0.144986
774 LA VT 3.75494 0.0526517
775 LA WA 5.59607 0.0180008
776 LA WI 1.31757 0.251029
777 LA WV 2.62277 0.105341
778 LA WY 1.44156 0.229887
779 MA MD 0.444444 0.504985
780 MA ME 0.0022308 0.962329
781 MA MI 0.246843 0.619307
782 MA MN 2.70089 0.100292
783 MA MO 0.620942 0.430698
784 MA MS 1.06143 0.30289
785 MA MT 1.38142 0.23986
786 MA NC 1.06328 0.302467
787 MA ND 2.02105 0.155132
788 MA NE 2.02105 0.155132
789 MA NH 0.666667 0.414216
790 MA NJ 1.06143 0.30289
791 MA NM 4.61992 0.0316026
792 MA NV 0.105495 0.745333
793 MA NY 0.95234 0.329124
794 MA OH 3.4188 0.0644577
795 MA OK 0.870129 0.35092
796 MA OR 1.43495 0.230958
797 MA PA 0.256598 0.612467
798 MA RI 0.761236 0.382942
799 MA SC 0.164367 0.685167
800 MA SD 1.82279 0.176981
801 MA TN 2.00893 0.156376
802 MA TX 0.00363937 0.951895
803 MA UT 0.761236 0.382942
804 MA VA 1.82279 0.176981
805 MA VT 0.340782 0.559378
806 MA WA 0.00903052 0.924292
807 MA WI 3.4188 0.0644577
808 MA WV 1.49369 0.221645
809 MA WY 2.93962 0.086431
810 MD ME 0.412698 0.520603
811 MD MI 0.0242003 0.876376
812 MD MN 1.09056 0.296347
813 MD MO 0.0223214 0.881235
814 MD MS 0.136752 0.711531
815 MD MT 0.251025 0.616354
816 MD NC 0.178156 0.672962
817 MD ND 0.6 0.438578
818 MD NE 0.6 0.438578
819 MD NH 0.08867 0.765875
820 MD NJ 0.136752 0.711531
821 MD NM 2.22512 0.135782
822 MD NV 0.117936 0.731284
823 MD NY 0.0627246 0.80224
824 MD OH 1.50523 0.219869
825 MD OK 0.163202 0.686225
826 MD OR 0.328487 0.566551
827 MD PA 0.0117845 0.913554
828 MD RI 0.0512786 0.820853
829 MD SC 0.057398 0.810657
830 MD SD 0.504593 0.477489
831 MD TN 0.9 0.342782
832 MD TX 0.488889 0.484423
833 MD UT 0.0512786 0.820853
834 MD VA 0.504593 0.477489
835 MD VT 0.00575304 0.939539
836 MD WA 0.569457 0.450475
837 MD WI 1.50523 0.219869
838 MD WV 0.253623 0.614535
839 MD WY 1.22672 0.268046
840 ME MI 0.2187 0.640032
841 ME MN 2.68034 0.101594
842 ME MO 0.588589 0.442965
843 ME MS 1.03175 0.309749
844 ME MT 1.35636 0.24417
845 ME NC 1.03159 0.309785
846 ME ND 2.00127 0.157168
847 ME NE 2.00127 0.157168
848 ME NH 0.634921 0.425556
849 ME NJ 1.03175 0.309749
850 ME NM 4.62643 0.0314829
851 ME NV 0.0837809 0.772238
852 ME NY 0.924644 0.336259
853 ME OH 3.40771 0.0648925
854 ME OK 0.83715 0.360213
855 ME OR 1.4067 0.235605
856 ME PA 0.229069 0.632215
857 ME RI 0.729095 0.393177
858 ME SC 0.139601 0.708678
859 ME SD 1.79983 0.179733
860 ME TN 1.97303 0.160126
861 ME TX 0.0115246 0.914509
862 ME UT 0.729095 0.393177
863 ME VA 1.79983 0.179733
864 ME VT 0.310358 0.577461
865 ME WA 0.021118 0.884458
866 ME WI 3.40771 0.0648925
867 ME WV 1.47475 0.224598
868 ME WY 2.92208 0.0873753
869 MI MN 1.37431 0.241072
870 MI MO 0.0879028 0.76686
871 MI MS 0.267904 0.604741
872 MI MT 0.421732 0.516074
873 MI NC 0.312464 0.576172
874 MI ND 0.835676 0.360636
875 MI NE 0.835676 0.360636
876 MI NH 0.174443 0.676193
877 MI NJ 0.267904 0.604741
878 MI NM 2.64753 0.103711
879 MI NV 0.0325856 0.856748
880 MI NY 0.170455 0.679708
881 MI OH 1.84327 0.174568
882 MI OK 0.27535 0.599766
883 MI OR 0.505589 0.477055
884 MI PA 0.00144817 0.969644
885 MI RI 0.139683 0.708597
886 MI SC 0.00705103 0.93308
887 MI SD 0.721377 0.395693
888 MI TN 1.10696 0.292743
889 MI TX 0.286644 0.592379
890 MI UT 0.139683 0.708597
891 MI VA 0.721377 0.395693
892 MI VT 0.00635234 0.936475
893 MI WA 0.341583 0.558917
894 MI WI 1.84327 0.174568
895 MI WV 0.435821 0.509146
896 MI WY 1.52896 0.216269
897 MN MO 0.777778 0.377822
898 MN MS 0.494505 0.481924
899 MN MT 0.358319 0.549441
900 MN NC 0.358038 0.549598
901 MN ND 0.100446 0.751295
902 MN NE 0.100446 0.751295
903 MN NH 0.365764 0.545323
904 MN NJ 0.494505 0.481924
905 MN NM 0.114229 0.73538
906 MN NV 1.83518 0.175517
907 MN NY 0.762281 0.382616
908 MN OH 0.0195993 0.888662
909 MN OK 0.26569 0.606238
910 MN OR 0.227027 0.633737
911 MN PA 1.20058 0.273206
912 MN RI 0.670801 0.412773
913 MN SC 1.54286 0.214193
914 MN SD 0.135011 0.713292
915 MN TN 0.0130952 0.908893
916 MN TX 2.73481 0.098183
917 MN UT 0.670801 0.412773
918 MN VA 0.135011 0.713292
919 MN VT 1.22436 0.268506
920 MN WA 2.95011 0.0858719
921 MN WI 0.0195993 0.888662
922 MN WV 0.411736 0.52109
923 MN WY 0.0023865 0.961037
924 MO MS 0.0434363 0.834906
925 MO MT 0.11036 0.739735
926 MO NC 0.0733435 0.786529
927 MO ND 0.365534 0.545449
928 MO NE 0.365534 0.545449
929 MO NH 0.0291005 0.864547
930 MO NJ 0.0434363 0.834906
931 MO NM 1.70299 0.191897
932 MO NV 0.229592 0.631827
933 MO NY 0.00637544 0.936359
934 MO OH 1.11264 0.291509
935 MO OK 0.0741322 0.785413
936 MO OR 0.171429 0.678845
937 MO PA 0.0599078 0.806642
938 MO RI 0.00531849 0.941863
939 MO SC 0.141414 0.706879
940 MO SD 0.295802 0.586526
941 MO TN 0.681888 0.408937
942 MO TX 0.666329 0.414335
943 MO UT 0.00531849 0.941863
944 MO VA 0.295802 0.586526
945 MO VT 0.0488744 0.825034
946 MO WA 0.759144 0.383596
947 MO WI 1.11264 0.291509
948 MO WV 0.105358 0.745492
949 MO WY 0.887134 0.346255
950 MS MT 0.0152625 0.901678
951 MS NC 0.00598719 0.938324
952 MS ND 0.167247 0.68257
953 MS NE 0.167247 0.68257
954 MS NH 0 1
955 MS NJ 0 1
956 MS NM 1.24863 0.263813
957 MS NV 0.505263 0.477197
958 MS NY 0.0220503 0.881953
959 MS OH 0.761905 0.382733
960 MS OK 0.0102013 0.919549
961 MS OR 0.0483351 0.825986
962 MS PA 0.205882 0.650014
963 MS RI 0.0183413 0.892272
964 MS SC 0.357143 0.550097
965 MS SD 0.121636 0.727267
966 MS TN 0.464516 0.495521
967 MS TX 1.10431 0.293321
968 MS UT 0.0183413 0.892272
969 MS VA 0.121636 0.727267
970 MS VT 0.195186 0.658635
971 MS WA 1.24191 0.265103
972 MS WI 0.761905 0.382733
973 MS WV 0.0110323 0.916348
974 MS WY 0.580808 0.445996
975 MT NC 0.00136982 0.970476
976 MT ND 0.086251 0.768999
977 MT NE 0.086251 0.768999
978 MT NH 0.0101496 0.919753
979 MT NJ 0.0152625 0.901678
980 MT NM 1.01626 0.313408
981 MT NV 0.721154 0.395766
982 MT NY 0.0808335 0.776171
983 MT OH 0.587607 0.443346
984 MT OK 0 1
985 MT OR 0.0110675 0.916215
986 MT PA 0.334283 0.563148
987 MT RI 0.0671329 0.795558
988 MT SC 0.532592 0.465519
989 MT SD 0.0546265 0.8152
990 MT TN 0.357265 0.550029
991 MT TX 1.41932 0.233516
992 MT UT 0.0671329 0.795558
993 MT VA 0.0546265 0.8152
994 MT VT 0.32867 0.566444
995 MT WA 1.58783 0.207637
996 MT WI 0.587607 0.443346
997 MT WV 0.000632304 0.979939
998 MT WY 0.431568 0.51122
999 NC ND 0.0955725 0.757209
1000 NC NE 0.0955725 0.757209
1001 NC NH 0.00418354 0.948429
1002 NC NJ 0.00598719 0.938324
1003 NC NM 0.972844 0.323972
1004 NC NV 0.543602 0.460944
1005 NC NY 0.0482178 0.826194
1006 NC OH 0.57373 0.44878
1007 NC OK 0.000959664 0.975287
1008 NC OR 0.0176913 0.894187
1009 NC PA 0.249346 0.617536
1010 NC RI 0.0412127 0.839128
1011 NC SC 0.401003 0.526572
1012 NC SD 0.0640732 0.80017
1013 NC TN 0.363832 0.546386
1014 NC TX 1.10842 0.292425
1015 NC UT 0.0412127 0.839128
1016 NC VA 0.0640732 0.80017
1017 NC VT 0.238861 0.62503
1018 NC WA 1.23021 0.267367
1019 NC WI 0.57373 0.44878
1020 NC WV 0.000243842 0.987541
1021 NC WY 0.42722 0.513356
1022 ND NE 0 1
1023 ND NH 0.116129 0.733271
1024 ND NJ 0.167247 0.68257
1025 ND NM 0.482597 0.487248
1026 ND NV 1.23077 0.267257
1027 ND NY 0.337358 0.561358
1028 ND OH 0.223256 0.63657
1029 ND OK 0.0600361 0.806439
1030 ND OR 0.0309066 0.860449
1031 ND PA 0.7 0.402784
1032 ND RI 0.287213 0.592012
1033 ND SC 0.980031 0.322191
1034 ND SD 0.00311506 0.955491
1035 ND TN 0.140625 0.70766
1036 ND TX 2.05333 0.151873
1037 ND UT 0.287213 0.592012
1038 ND VA 0.00311506 0.955491
1039 ND VT 0.709814 0.399506
1040 ND WA 2.25542 0.133147
1041 ND WI 0.223256 0.63657
1042 ND WV 0.109375 0.740857
1043 ND WY 0.137694 0.710584
1044 NE NH 0.116129 0.733271
1045 NE NJ 0.167247 0.68257
1046 NE NM 0.482597 0.487248
1047 NE NV 1.23077 0.267257
1048 NE NY 0.337358 0.561358
1049 NE OH 0.223256 0.63657
1050 NE OK 0.0600361 0.806439
1051 NE OR 0.0309066 0.860449
1052 NE PA 0.7 0.402784
1053 NE RI 0.287213 0.592012
1054 NE SC 0.980031 0.322191
1055 NE SD 0.00311506 0.955491
1056 NE TN 0.140625 0.70766
1057 NE TX 2.05333 0.151873
1058 NE UT 0.287213 0.592012
1059 NE VA 0.00311506 0.955491
1060 NE VT 0.709814 0.399506
1061 NE WA 2.25542 0.133147
1062 NE WI 0.223256 0.63657
1063 NE WV 0.109375 0.740857
1064 NE WY 0.137694 0.710584
1065 NH NJ 0 1
1066 NH NM 0.920239 0.337412
1067 NH NV 0.321429 0.57075
1068 NH NY 0.0138206 0.906415
1069 NH OH 0.5625 0.453255
1070 NH OK 0.00763126 0.930388
1071 NH OR 0.0336735 0.854403
1072 NH PA 0.138889 0.709388
1073 NH RI 0.0122655 0.911815
1074 NH SC 0.233124 0.629217
1075 NH SD 0.0845411 0.771235
1076 NH TN 0.380952 0.537094
1077 NH TX 0.711111 0.399075
1078 NH UT 0.0122655 0.911815
1079 NH VA 0.0845411 0.771235
1080 NH VT 0.126812 0.721761
1081 NH WA 0.782547 0.376363
1082 NH WI 0.5625 0.453255
1083 NH WV 0.00707851 0.93295
1084 NH WY 0.429293 0.512336
1085 NJ NM 1.24863 0.263813
1086 NJ NV 0.505263 0.477197
1087 NJ NY 0.0220503 0.881953
1088 NJ OH 0.761905 0.382733
1089 NJ OK 0.0102013 0.919549
1090 NJ OR 0.0483351 0.825986
1091 NJ PA 0.205882 0.650014
1092 NJ RI 0.0183413 0.892272
1093 NJ SC 0.357143 0.550097
1094 NJ SD 0.121636 0.727267
1095 NJ TN 0.464516 0.495521
1096 NJ TX 1.10431 0.293321
1097 NJ UT 0.0183413 0.892272
1098 NJ VA 0.121636 0.727267
1099 NJ VT 0.195186 0.658635
1100 NJ WA 1.24191 0.265103
1101 NJ WI 0.761905 0.382733
1102 NJ WV 0.0110323 0.916348
1103 NJ WY 0.580808 0.445996
1104 NM NV 3.35819 0.0668715
1105 NM NY 1.74922 0.185975
1106 NM OH 0.0388517 0.843743
1107 NM OK 0.750524 0.386311
1108 NM OR 0.738916 0.390008
1109 NM PA 2.34246 0.125891
1110 NM RI 1.5348 0.215394
1111 NM SC 2.89375 0.0889239
1112 NM SD 0.55767 0.455201
1113 NM TN 0.0258369 0.872299
1114 NM TX 4.62492 0.0315108
1115 NM UT 1.5348 0.215394
1116 NM VA 0.55767 0.455201
1117 NM VT 2.4257 0.11936
1118 NM WA 4.96553 0.0258573
1119 NM WI 0.0388517 0.843743
1120 NM WV 1.14093 0.285455
1121 NM WY 0.0833389 0.772823
1122 NV NY 0.388636 0.533017
1123 NV OH 2.4 0.121335
1124 NV OK 0.460046 0.497602
1125 NV OR 0.803571 0.370028
1126 NV PA 0.04375 0.834319
1127 NV RI 0.313636 0.575457
1128 NV SC 0.00859435 0.926137
1129 NV SD 1.08448 0.297698
1130 NV TN 1.41872 0.233614
1131 NV TX 0.1375 0.710779
1132 NV UT 0.313636 0.575457
1133 NV VA 1.08448 0.297698
1134 NV VT 0.069664 0.791827
1135 NV WA 0.173372 0.677132
1136 NV WI 2.4 0.121335
1137 NV WV 0.763636 0.382193
1138 NV WY 2.02213 0.155022
1139 NY OH 1.117 0.290566
1140 NY OK 0.0507913 0.821692
1141 NY OR 0.14026 0.708023
1142 NY PA 0.120621 0.728362
1143 NY RI 0 1
1144 NY SC 0.25057 0.616674
1145 NY SD 0.265299 0.606503
1146 NY TN 0.649778 0.420192
1147 NY TX 0.993016 0.319006
1148 NY UT 0 1
1149 NY VA 0.265299 0.606503
1150 NY VT 0.10866 0.741675
1151 NY WA 1.14156 0.285322
1152 NY WI 1.117 0.290566
1153 NY WV 0.0755424 0.783432
1154 NY WY 0.87766 0.348844
1155 OH OK 0.434829 0.509629
1156 OH OR 0.401786 0.526168
1157 OH PA 1.62037 0.20304
1158 OH RI 0.981566 0.321813
1159 OH SC 2.04216 0.152992
1160 OH SD 0.274086 0.600604
1161 OH TN 0 1
1162 OH TX 3.44259 0.0635359
1163 OH UT 0.981566 0.321813
1164 OH VA 0.274086 0.600604
1165 OH VT 1.66519 0.196904
1166 OH WA 3.70555 0.0542319
1167 OH WI 0 1
1168 OH WV 0.666667 0.414216
1169 OH WY 0.00829726 0.927422
1170 OK OR 0.0077302 0.929939
1171 OK PA 0.226097 0.634433
1172 OK RI 0.0450125 0.831981
1173 OK SC 0.348586 0.554915
1174 OK SD 0.0380624 0.845318
1175 OK TN 0.293803 0.587793
1176 OK TX 0.916385 0.338426
1177 OK UT 0.0450125 0.831981
1178 OK VA 0.0380624 0.845318
1179 OK VT 0.214113 0.643563
1180 OK WA 1.00334 0.316503
1181 OK WI 0.434829 0.509629
1182 OK WV 0.000406666 0.983911
1183 OK WY 0.319761 0.571751
1184 OR PA 0.414541 0.519674
1185 OR RI 0.119666 0.729397
1186 OR SC 0.617647 0.431923
1187 OR SD 0.0143838 0.904537
1188 OR TN 0.254002 0.614271
1189 OR TX 1.47649 0.224325
1190 OR UT 0.119666 0.729397
1191 OR VA 0.0143838 0.904537
1192 OR VT 0.409938 0.522001
1193 OR WA 1.63011 0.201688
1194 OR WI 0.401786 0.526168
1195 OR WV 0.0177455 0.894025
1196 OR WY 0.28216 0.595289
1197 PA RI 0.10101 0.750621
1198 PA SC 0.0137566 0.906631
1199 PA SD 0.600861 0.43825
1200 PA TN 1 0.317311
1201 PA TX 0.295556 0.586682
1202 PA UT 0.10101 0.750621
1203 PA VA 0.600861 0.43825
1204 PA VT 0.00137547 0.970415
1205 PA WA 0.346918 0.555863
1206 PA WI 1.62037 0.20304
1207 PA WV 0.339694 0.560006
1208 PA WY 1.33888 0.247232
1209 RI SC 0.205614 0.650227
1210 RI SD 0.22601 0.634499
1211 RI TN 0.600418 0.438419
1212 RI TX 0.806591 0.36913
1213 RI UT 0 1
1214 RI VA 0.22601 0.634499
1215 RI VT 0.0889328 0.765538
1216 RI WA 0.914058 0.33904
1217 RI WI 0.981566 0.321813
1218 RI WV 0.0613636 0.804353
1219 RI WY 0.77193 0.379621
1220 SC SD 0.855303 0.355057
1221 SC TN 1.2295 0.267505
1222 SC TX 0.199971 0.654744
1223 SC UT 0.205614 0.650227
1224 SC VA 0.855303 0.355057
1225 SC VT 0.0267933 0.869978
1226 SC WA 0.242926 0.622101
1227 SC WI 2.04216 0.152992
1228 SC WV 0.554835 0.456349
1229 SC WY 1.70783 0.191268
1230 SD TN 0.172832 0.677607
1231 SD TX 1.85857 0.17279
1232 SD UT 0.22601 0.634499
1233 SD VA 0 1
1234 SD VT 0.605263 0.436577
1235 SD WA 2.04444 0.152763
1236 SD WI 0.274086 0.600604
1237 SD WV 0.0717471 0.78881
1238 SD WY 0.177866 0.673214
1239 TN TX 2.06019 0.151191
1240 TN UT 0.600418 0.438419
1241 TN VA 0.172832 0.677607
1242 TN VT 0.99773 0.31786
1243 TN WA 2.18456 0.1394
1244 TN WI 0 1
1245 TN WV 0.394006 0.530201
1246 TN WY 0.00553926 0.940671
1247 TX UT 0.806591 0.36913
1248 TX VA 1.85857 0.17279
1249 TX VT 0.383473 0.53575
1250 TX WA 0.000958751 0.975298
1251 TX WI 3.44259 0.0635359
1252 TX WV 1.52483 0.216889
1253 TX WY 2.97032 0.084805
1254 UT VA 0.22601 0.634499
1255 UT VT 0.0889328 0.765538
1256 UT WA 0.914058 0.33904
1257 UT WI 0.981566 0.321813
1258 UT WV 0.0613636 0.804353
1259 UT WY 0.77193 0.379621
1260 VA VT 0.605263 0.436577
1261 VA WA 2.04444 0.152763
1262 VA WI 0.274086 0.600604
1263 VA WV 0.0717471 0.78881
1264 VA WY 0.177866 0.673214
1265 VT WA 0.45098 0.50187
1266 VT WI 1.66519 0.196904
1267 VT WV 0.336277 0.561986
1268 VT WY 1.36943 0.24191
1269 WA WI 3.70555 0.0542319
1270 WA WV 1.72063 0.189612
1271 WA WY 3.20158 0.0735671
1272 WI WV 0.666667 0.414216
1273 WI WY 0.00829726 0.927422
1274 WV WY 0.493334 0.482444

In [97]:
sign_lvls_num = len(chi2_val.loc[chi2_val['p-value'] <= 0.05, :])
print('Num of significance lvls below 0.05: %d' % sign_lvls_num)


Num of significance lvls below 0.05: 34

В основе критерия xи-квадрат лежит предположение о том, что если верна нулевая гипотеза, то дискретное биномиальное распределение данных по клеткам в таблице сопряженности может быть аппроксимировано с помощью непрерывного распределения xи-квадрат. Однако точность такой аппроксимации существенно зависит от суммарного количества наблюдений и их распределения в этой таблице (отсюда и ограничения при использовании критерия xи-квадрат).

Одним из способов коррекции точности аппроксимации является поправка Йетса на непрерывность. Эта поправка заключается в вычитании константы 0.5 из каждого модуля разности наблюденного Oi и ожидаемого Ei значений, то есть, статистика с такой поправкой выглядит так:

χ2Yates=∑i=1N(|Oi−Ei|−0.5)2Ei.

Такая поправка, как несложно догадаться по формуле, как правило, уменьшает значение статистики χ2, то есть увеличивает достигаемый уровень значимости.

Эта поправка обычно используется для таблиц сопряженности размером 2x2 и для небольшого количества наблюдений. Такая поправка, однако, не является серебрянной пулей, и часто критикуется за то, что статистический критерий при ее использовании становится слишком консервативным, то есть часто не отвергает нулевую гипотезу там, где она неверна (совершает ошибку II рода).

Полезно знать, что эта поправка часто включена по умолчанию (например, в функции scipy.stats.chi2_contingency) и понимать ее влияние на оценку достигаемого уровня значимости.

Проведите те же самые сравнения, что и в вопросе №1, только с включенной коррекцией scipy.stats.chi2_contingency(subtable, correction=True) и сравните полученные результаты, отметив все верные варианты.


In [144]:
chi2_val = pd.DataFrame(columns=['state 1', 'state 2', 'chi2_stat', 'p-value'])
i = 0
for st1, st2 in combinations(pt_states.index, 2):
    chi2_table = pt_states.loc[[st1, st2],:]
    chi2_val.loc[i, 'state 1'] = st1
    chi2_val.loc[i, 'state 2'] = st2
    chi2_stat = stats.chi2_contingency(chi2_table.values, correction=True)
    chi2_val.loc[i, 'chi2_stat'] = chi2_stat[0]
    chi2_val.loc[i, 'p-value'] = chi2_stat[1]
    i += 1

In [145]:
chi2_val


Out[145]:
state 1 state 2 chi2_stat p-value
0 AK AL 0.639205 0.423999
1 AK AR 2.7225 0.0989429
2 AK AZ 0.00213816 0.963119
3 AK CA 3.05496 0.0804911
4 AK CO 1.4358 0.230821
5 AK CT 0.639205 0.423999
6 AK DC 0.474671 0.490846
7 AK DE 0.373498 0.541104
8 AK FL 0 1
9 AK GA 0.00192669 0.964989
10 AK HI 0.184755 0.667318
11 AK IA 0.0683594 0.793741
12 AK ID 0.00904762 0.92422
13 AK IL 0.142222 0.706082
14 AK IN 0.143963 0.704373
15 AK KS 2.60156 0.106758
16 AK KY 0.475312 0.490553
17 AK LA 0.0214461 0.88357
18 AK MA 2.81238 0.0935393
19 AK MD 1.17237 0.278915
20 AK ME 2.84835 0.0914677
21 AK MI 1.4358 0.230821
22 AK MN 0.00192669 0.964989
23 AK MO 0.803866 0.36994
24 AK MS 0.543419 0.461019
25 AK MT 0.41469 0.519598
26 AK NC 0.338867 0.560484
27 AK ND 0.112292 0.73755
28 AK NE 0.112292 0.73755
29 AK NH 0.22069 0.638515
30 AK NJ 0.543419 0.461019
31 AK NM 0.111572 0.738361
32 AK NV 1.9381 0.163875
33 AK NY 0.912823 0.339366
34 AK OH 0.0268293 0.869891
35 AK OK 0.155481 0.693352
36 AK OR 0.225744 0.634698
37 AK PA 1.18286 0.276774
38 AK RI 0.706364 0.400654
39 AK SC 1.59084 0.207206
40 AK SD 0.143963 0.704373
41 AK TN 0.142222 0.706082
42 AK TX 2.77056 0.0960124
43 AK UT 0.706364 0.400654
44 AK VA 0.143963 0.704373
45 AK VT 1.29701 0.25476
46 AK WA 3.0448 0.0809959
47 AK WI 0.0268293 0.869891
48 AK WV 0.519293 0.471143
49 AK WY 0.00734266 0.931713
50 AL AR 0.588044 0.443176
51 AL AZ 0.0322368 0.857509
52 AL CA 0.7875 0.374857
53 AL CO 0.0367677 0.847939
54 AL CT 0 1
55 AL DC 0.546527 0.45974
56 AL DE 0.371718 0.542069
57 AL FL 0.0622924 0.802909
58 AL GA 0.099942 0.751899
59 AL HI 0.0905146 0.763524
60 AL IA 0.0211466 0.88438
61 AL ID 0.0111498 0.915905
62 AL IL 0.04375 0.834319
63 AL IN 0.000480072 0.982519
64 AL KS 0.46988 0.493042
65 AL KY 0.0896739 0.764592
66 AL LA 1.37812 0.240421
67 AL MA 0.590625 0.442178
68 AL MD 0.00153409 0.968757
69 AL ME 0.59499 0.440496
70 AL MI 0.0367677 0.847939
71 AL MN 0.099942 0.751899
72 AL MO 0.0236111 0.877879
73 AL MS 0 1
74 AL MT 0.0549918 0.814594
75 AL NC 0.099659 0.752239
76 AL ND 0.00183424 0.965839
77 AL NE 0.00183424 0.965839
78 AL NH 0 1
79 AL NJ 0 1
80 AL NM 0.573875 0.448723
81 AL NV 0.172674 0.677746
82 AL NY 0.0302885 0.861837
83 AL OH 0.248252 0.618308
84 AL OK 0.119116 0.729995
85 AL OR 0.0259448 0.872035
86 AL PA 0.00911681 0.923932
87 AL RI 0.0521181 0.819418
88 AL SC 0.0750784 0.784081
89 AL SD 0.000480072 0.982519
90 AL TN 0.04375 0.834319
91 AL TX 0.587607 0.443346
92 AL UT 0.0521181 0.819418
93 AL VA 0.000480072 0.982519
94 AL VT 0.0129061 0.909551
95 AL WA 0.732559 0.392055
96 AL WI 0.248252 0.618308
97 AL WV 0.0547716 0.814959
98 AL WY 0.144069 0.704269
99 AR AZ 1.21608 0.270132
100 AR CA 0.0678125 0.794549
101 AR CO 0.0466518 0.828995
102 AR CT 0.588044 0.443176
103 AR DC 2.50262 0.113657
104 AR DE 2.06419 0.150796
105 AR FL 1.38547 0.239172
106 AR GA 1.55753 0.212027
107 AR HI 1.20252 0.272818
108 AR IA 0.581442 0.445748
109 AR ID 1.05001 0.305505
110 AR IL 0.994318 0.318689
111 AR IN 0.964167 0.326139
112 AR KS 0.0165679 0.897582
113 AR KY 0.58377 0.444839
114 AR LA 3.51756 0.0607219
115 AR MA 0.0446429 0.832662
116 AR MD 0.138889 0.709388
117 AR ME 0.0243708 0.875945
118 AR MI 0.0466518 0.828995
119 AR MN 1.55753 0.212027
120 AR MO 0.221221 0.638111
121 AR MS 0.483871 0.486674
122 AR MT 0.688374 0.406718
123 AR NC 0.463858 0.495827
124 AR ND 1.10026 0.294209
125 AR NE 1.10026 0.294209
126 AR NH 0.194444 0.659243
127 AR NJ 0.483871 0.486674
128 AR NM 2.98614 0.0839802
129 AR NV 0.00522466 0.942378
130 AR NY 0.439649 0.507292
131 AR OH 2.08514 0.148739
132 AR OK 0.309854 0.57777
133 AR OR 0.703552 0.401593
134 AR PA 0.0425 0.83667
135 AR RI 0.301528 0.582926
136 AR SC 0.0172316 0.895562
137 AR SD 0.964167 0.326139
138 AR TN 0.994318 0.318689
139 AR TX 0.0801818 0.777051
140 AR UT 0.301528 0.582926
141 AR VA 0.964167 0.326139
142 AR VT 0.0877975 0.766996
143 AR WA 0.0890512 0.765387
144 AR WI 2.08514 0.148739
145 AR WV 0.773684 0.37908
146 AR WY 1.73175 0.188188
147 AZ CA 1.4543 0.227839
148 AZ CO 0.383381 0.535799
149 AZ CT 0.0322368 0.857509
150 AZ DC 0 1
151 AZ DE 0.0101323 0.919821
152 AZ FL 0.224507 0.635627
153 AZ GA 0.178223 0.672905
154 AZ HI 0.12062 0.728363
155 AZ IA 0.0805263 0.776585
156 AZ ID 0.223136 0.636661
157 AZ IL 0.178454 0.672705
158 AZ IN 0.0519513 0.819702
159 AZ KS 1.09423 0.295536
160 AZ KY 0.00650046 0.93574
161 AZ LA 0.315022 0.574615
162 AZ MA 1.2426 0.264972
163 AZ MD 0.243323 0.621816
164 AZ ME 1.25505 0.26259
165 AZ MI 0.383381 0.535799
166 AZ MN 0.178223 0.672905
167 AZ MO 0.0963192 0.756292
168 AZ MS 0.0179464 0.893431
169 AZ MT 0.000875895 0.97639
170 AZ NC 0 1
171 AZ ND 0.0775479 0.780648
172 AZ NE 0.0775479 0.780648
173 AZ NH 0.0028326 0.957555
174 AZ NJ 0.0179464 0.893431
175 AZ NM 0.00791949 0.929089
176 AZ NV 0.666908 0.414132
177 AZ NY 0.114035 0.735596
178 AZ OH 0.0799419 0.777376
179 AZ OK 0.0185078 0.891787
180 AZ OR 0.0143215 0.904743
181 AZ PA 0.268868 0.604092
182 AZ RI 0.0617709 0.803719
183 AZ SC 0.47261 0.491789
184 AZ SD 0.0519513 0.819702
185 AZ TN 0.178454 0.672705
186 AZ TX 1.2292 0.267563
187 AZ UT 0.0617709 0.803719
188 AZ VA 0.0519513 0.819702
189 AZ VT 0.307551 0.579187
190 AZ WA 1.40961 0.235121
191 AZ WI 0.0799419 0.777376
192 AZ WV 0.00823837 0.927679
193 AZ WY 0.139342 0.708936
194 CA CO 0.113056 0.736692
195 CA CT 0.7875 0.374857
196 CA DC 2.81842 0.093188
197 CA DE 2.3457 0.125629
198 CA FL 1.64062 0.20024
199 CA GA 1.82913 0.17623
200 CA HI 1.40979 0.235091
201 CA IA 0.745342 0.387955
202 CA ID 1.27074 0.259628
203 CA IL 1.18125 0.277102
204 CA IN 1.1937 0.274585
205 CA KS 0 1
206 CA KY 0.774194 0.378923
207 CA LA 3.84 0.0500435
208 CA MA 0.00677083 0.93442
209 CA MD 0.242909 0.622113
210 CA ME 0.000590659 0.980611
211 CA MI 0.113056 0.736692
212 CA MN 1.82913 0.17623
213 CA MO 0.342857 0.558185
214 CA MS 0.658125 0.417223
215 CA MT 0.894411 0.344285
216 CA NC 0.624595 0.429345
217 CA ND 1.34554 0.246059
218 CA NE 1.34554 0.246059
219 CA NH 0.291696 0.589135
220 CA NJ 0.658125 0.417223
221 CA NM 3.37777 0.0660816
222 CA NV 0.0387784 0.843888
223 CA NY 0.619701 0.431159
224 CA OH 2.40377 0.121043
225 CA OK 0.430769 0.511612
226 CA OR 0.9 0.342782
227 CA PA 0.103125 0.748111
228 CA RI 0.441477 0.50641
229 CA SC 0.0632967 0.801359
230 CA SD 1.1937 0.274585
231 CA TN 1.18125 0.277102
232 CA TX 0.024858 0.874722
233 CA UT 0.441477 0.50641
234 CA VA 1.1937 0.274585
235 CA VT 0.173478 0.677039
236 CA WA 0.0285953 0.865717
237 CA WI 2.40377 0.121043
238 CA WV 1.00093 0.317085
239 CA WY 2.01938 0.155302
240 CO CT 0.0367677 0.847939
241 CO DC 1.28738 0.256531
242 CO DE 0.996567 0.318143
243 CO FL 0.477273 0.48966
244 CO GA 0.576262 0.447781
245 CO HI 0.457334 0.498873
246 CO IA 0.0834235 0.77271
247 CO ID 0.295597 0.586656
248 CO IL 0.338068 0.560946
249 CO IN 0.21099 0.645992
250 CO KS 0.00615476 0.937468
251 CO KY 0.0455383 0.831017
252 CO LA 2.23699 0.134743
253 CO MA 0.0258374 0.872298
254 CO MD 0.0408986 0.839734
255 CO ME 0.0204188 0.886374
256 CO MI 0 1
257 CO MN 0.576262 0.447781
258 CO MO 0.00615928 0.937445
259 CO MS 0.0211916 0.884258
260 CO MT 0.077461 0.780768
261 CO NC 0.0268436 0.869857
262 CO ND 0.275406 0.599728
263 CO NE 0.275406 0.599728
264 CO NH 0.000681417 0.979174
265 CO NJ 0.0211916 0.884258
266 CO NM 1.47942 0.223865
267 CO NV 0.027381 0.868573
268 CO NY 0.00473485 0.945141
269 CO OH 0.896423 0.343743
270 CO OK 0.0076486 0.930309
271 CO OR 0.101799 0.749681
272 CO PA 0.117302 0.731979
273 CO RI 0 1
274 CO SC 0.0767857 0.781702
275 CO SD 0.21099 0.645992
276 CO TN 0.338068 0.560946
277 CO TX 0.033871 0.853982
278 CO UT 0 1
279 CO VA 0.21099 0.645992
280 CO VT 0.0778162 0.780279
281 CO WA 0.0611413 0.804701
282 CO WI 0.896423 0.343743
283 CO WV 0.0922198 0.761374
284 CO WY 0.679537 0.409746
285 CT DC 0.546527 0.45974
286 CT DE 0.371718 0.542069
287 CT FL 0.0622924 0.802909
288 CT GA 0.099942 0.751899
289 CT HI 0.0905146 0.763524
290 CT IA 0.0211466 0.88438
291 CT ID 0.0111498 0.915905
292 CT IL 0.04375 0.834319
293 CT IN 0.000480072 0.982519
294 CT KS 0.46988 0.493042
295 CT KY 0.0896739 0.764592
296 CT LA 1.37812 0.240421
297 CT MA 0.590625 0.442178
298 CT MD 0.00153409 0.968757
299 CT ME 0.59499 0.440496
300 CT MI 0.0367677 0.847939
301 CT MN 0.099942 0.751899
302 CT MO 0.0236111 0.877879
303 CT MS 0 1
304 CT MT 0.0549918 0.814594
305 CT NC 0.099659 0.752239
306 CT ND 0.00183424 0.965839
307 CT NE 0.00183424 0.965839
308 CT NH 0 1
309 CT NJ 0 1
310 CT NM 0.573875 0.448723
311 CT NV 0.172674 0.677746
312 CT NY 0.0302885 0.861837
313 CT OH 0.248252 0.618308
314 CT OK 0.119116 0.729995
315 CT OR 0.0259448 0.872035
316 CT PA 0.00911681 0.923932
317 CT RI 0.0521181 0.819418
318 CT SC 0.0750784 0.784081
319 CT SD 0.000480072 0.982519
320 CT TN 0.04375 0.834319
321 CT TX 0.587607 0.443346
322 CT UT 0.0521181 0.819418
323 CT VA 0.000480072 0.982519
324 CT VT 0.0129061 0.909551
325 CT WA 0.732559 0.392055
326 CT WI 0.248252 0.618308
327 CT WV 0.0547716 0.814959
328 CT WY 0.144069 0.704269
329 DC DE 0.419596 0.517139
330 DC FL 0.00213816 0.963119
331 DC GA 0.00812843 0.928162
332 DC HI 0.215924 0.642163
333 DC IA 0.04618 0.829849
334 DC ID 0.00238648 0.961038
335 DC IL 0.16937 0.680672
336 DC IN 0.106859 0.743749
337 DC KS 2.37883 0.12299
338 DC KY 0.399503 0.527346
339 DC LA 0.0144604 0.904284
340 DC MA 2.57847 0.108326
341 DC MD 1.04079 0.307639
342 DC ME 2.60911 0.106251
343 DC MI 1.28738 0.256531
344 DC MN 0.00812843 0.928162
345 DC MO 0.701754 0.402195
346 DC MS 0.461689 0.496836
347 DC MT 0.344446 0.557274
348 DC NC 0.279412 0.597087
349 DC ND 0.0799419 0.777376
350 DC NE 0.0799419 0.777376
351 DC NH 0.178454 0.672705
352 DC NJ 0.461689 0.496836
353 DC NM 0.145191 0.703174
354 DC NV 1.75584 0.185145
355 DC NY 0.796436 0.372161
356 DC OH 0.0442023 0.833478
357 DC OK 0.12062 0.728363
358 DC OR 0.178223 0.672905
359 DC PA 1.05499 0.30436
360 DC RI 0.61154 0.434209
361 DC SC 1.43299 0.231276
362 DC SD 0.106859 0.743749
363 DC TN 0.16937 0.680672
364 DC TX 2.543 0.110784
365 DC UT 0.61154 0.434209
366 DC VA 0.106859 0.743749
367 DC VT 1.15732 0.282021
368 DC WA 2.79885 0.0943322
369 DC WI 0.0442023 0.833478
370 DC WV 0.436883 0.508631
371 DC WY 0.0174232 0.894987
372 DE FL 0.0216047 0.883144
373 DE GA 0.0364946 0.848498
374 DE HI 0.29331 0.588107
375 DE IA 0.0129817 0.909287
376 DE ID 0.00268076 0.958707
377 DE IL 0.237586 0.625955
378 DE IN 0.0454675 0.831147
379 DE KS 1.93614 0.164088
380 DE KY 0.258544 0.611122
381 DE LA 0.00404807 0.949269
382 DE MA 2.11267 0.146084
383 DE MD 0.7849 0.375647
384 DE ME 2.13301 0.144157
385 DE MI 0.996567 0.318143
386 DE MN 0.0364946 0.848498
387 DE MO 0.505764 0.476979
388 DE MS 0.30831 0.578719
389 DE MT 0.215179 0.642738
390 DE NC 0.170666 0.679521
391 DE ND 0.0286872 0.865503
392 DE NE 0.0286872 0.865503
393 DE NH 0.102517 0.74883
394 DE NJ 0.30831 0.578719
395 DE NM 0.234351 0.628316
396 DE NV 1.39599 0.237396
397 DE NY 0.573253 0.448969
398 DE OH 0.0971846 0.755235
399 DE OK 0.0603318 0.805972
400 DE OR 0.0947026 0.758282
401 DE PA 0.805419 0.369478
402 DE RI 0.43076 0.511616
403 DE SC 1.12264 0.289351
404 DE SD 0.0454675 0.831147
405 DE TN 0.237586 0.625955
406 DE TX 2.08954 0.148311
407 DE UT 0.43076 0.511616
408 DE VA 0.0454675 0.831147
409 DE VT 0.88461 0.346942
410 DE WA 2.30818 0.128694
411 DE WI 0.0971846 0.755235
412 DE WV 0.283575 0.594368
413 DE WY 0.0543115 0.815724
414 FL GA 0.225744 0.634698
415 FL HI 0.155481 0.693352
416 FL IA 0.0529234 0.818052
417 FL ID 0.174632 0.676027
418 FL IL 0.22069 0.638515
419 FL IN 0.0276745 0.867876
420 FL KS 1.26562 0.260589
421 FL KY 0.0216346 0.883063
422 FL LA 0.276199 0.599203
423 FL MA 1.42593 0.23243
424 FL MD 0.318533 0.572491
425 FL ME 1.44361 0.229556
426 FL MI 0.477273 0.48966
427 FL MN 0.225744 0.634698
428 FL MO 0.142361 0.705945
429 FL MS 0.0402047 0.841081
430 FL MT 0.00921474 0.923526
431 FL NC 0.00377322 0.95102
432 FL ND 0.0470085 0.828353
433 FL NE 0.0470085 0.828353
434 FL NH 0 1
435 FL NJ 0.0402047 0.841081
436 FL NM 0.01983 0.888013
437 FL NV 0.795718 0.372377
438 FL NY 0.168692 0.681277
439 FL OH 0.112292 0.73755
440 FL OK 0.00683853 0.934094
441 FL OR 0.00338955 0.953574
442 FL PA 0.343605 0.557756
443 FL RI 0.0994318 0.752513
444 FL SC 0.576793 0.447572
445 FL SD 0.0276745 0.867876
446 FL TN 0.22069 0.638515
447 FL TX 1.40625 0.23568
448 FL UT 0.0994318 0.752513
449 FL VA 0.0276745 0.867876
450 FL VT 0.391811 0.531349
451 FL WA 1.6057 0.205097
452 FL WI 0.112292 0.73755
453 FL WV 0.0257937 0.872405
454 FL WY 0.181489 0.670097
455 GA HI 0.192839 0.660564
456 GA IA 0.0321429 0.857714
457 GA ID 0.134311 0.714003
458 GA IL 0.265179 0.606585
459 GA IN 0.0116791 0.91394
460 GA KS 1.44085 0.230002
461 GA KY 0.0441746 0.833529
462 GA LA 0.242017 0.622753
463 GA MA 1.61272 0.204109
464 GA MD 0.39952 0.527337
465 GA ME 1.63595 0.200882
466 GA MI 0.576262 0.447781
467 GA MN 0 1
468 GA MO 0.194444 0.659243
469 GA MS 0.0695398 0.792008
470 GA MT 0.0252818 0.873667
471 GA NC 0.0143215 0.904743
472 GA ND 0.0251116 0.874089
473 GA NE 0.0251116 0.874089
474 GA NH 0.00254002 0.959805
475 GA NJ 0.0695398 0.792008
476 GA NM 0.0361426 0.849221
477 GA NV 0.929129 0.335089
478 GA NY 0.23059 0.631087
479 GA OH 0.14822 0.700242
480 GA OK 0.00103785 0.9743
481 GA OR 0 1
482 GA PA 0.42325 0.51532
483 GA RI 0.143488 0.704837
484 GA SC 0.685714 0.407626
485 GA SD 0.0116791 0.91394
486 GA TN 0.265179 0.606585
487 GA TX 1.5864 0.207841
488 GA UT 0.143488 0.704837
489 GA VA 0.0116791 0.91394
490 GA VT 0.481514 0.487737
491 GA WA 1.80488 0.179123
492 GA WI 0.14822 0.700242
493 GA WV 0.0514976 0.820478
494 GA WY 0.226867 0.633857
495 HI IA 0.0172308 0.895565
496 HI ID 0.0887134 0.765819
497 HI IL 0.460737 0.49728
498 HI IN 0.00376254 0.951089
499 HI KS 1.07618 0.299554
500 HI KY 0.045352 0.831358
501 HI LA 0.00531814 0.941865
502 HI MA 1.20238 0.272846
503 HI MD 0.322775 0.569945
504 HI ME 1.20469 0.272386
505 HI MI 0.457334 0.498873
506 HI MN 0.192839 0.660564
507 HI MO 0.168347 0.681585
508 HI MS 0.066892 0.795917
509 HI MT 0.0286765 0.865528
510 HI NC 0.0185078 0.891787
511 HI ND 0.0110055 0.91645
512 HI NE 0.0110055 0.91645
513 HI NH 0.00546329 0.941079
514 HI NJ 0.066892 0.795917
515 HI NM 0.308508 0.578597
516 HI NV 0.71168 0.398887
517 HI NY 0.1901 0.662833
518 HI OH 0.31653 0.573701
519 HI OK 0 1
520 HI OR 0.00103785 0.9743
521 HI PA 0.348775 0.554807
522 HI RI 0.127477 0.721063
523 HI SC 0.540424 0.462257
524 HI SD 0.00376254 0.951089
525 HI TN 0.460737 0.49728
526 HI TX 1.20106 0.27311
527 HI UT 0.127477 0.721063
528 HI VA 0.00376254 0.951089
529 HI VT 0.385284 0.534789
530 HI WA 1.34376 0.246371
531 HI WI 0.31653 0.573701
532 HI WV 0.0509662 0.821391
533 HI WY 0.232326 0.629804
534 IA ID 0.116164 0.733233
535 IA IL 0.0421875 0.837263
536 IA IN 0.216285 0.641886
537 IA KS 0.468339 0.493752
538 IA KY 0.0522876 0.819129
539 IA LA 0.535714 0.464214
540 IA MA 0.564236 0.452558
541 IA MD 0.0272042 0.868994
542 IA ME 0.560381 0.454107
543 IA MI 0.0834235 0.77271
544 IA MN 0.0321429 0.857714
545 IA MO 0 1
546 IA MS 0.0307765 0.86074
547 IA MT 0.0782204 0.779724
548 IA NC 0.0822747 0.774238
549 IA ND 0.173493 0.677026
550 IA NE 0.173493 0.677026
551 IA NH 0.091712 0.762012
552 IA NJ 0.0307765 0.86074
553 IA NM 0.0227586 0.880086
554 IA NV 0.221144 0.63817
555 IA NY 0 1
556 IA OH 0.00174107 0.966717
557 IA OK 0.149573 0.698944
558 IA OR 0.165899 0.683783
559 IA PA 0.0424383 0.836787
560 IA RI 0.00376751 0.951057
561 IA SC 0.126671 0.721909
562 IA SD 0.216285 0.641886
563 IA TN 0.0421875 0.837263
564 IA TX 0.570505 0.450058
565 IA UT 0.00376751 0.951057
566 IA VA 0.216285 0.641886
567 IA VT 0.050758 0.821749
568 IA WA 0.675218 0.411238
569 IA WI 0.00174107 0.966717
570 IA WV 0.054641 0.815176
571 IA WY 0.0172004 0.895656
572 ID IL 0.138889 0.709388
573 ID IN 0.0859669 0.769368
574 ID KS 0.927529 0.335506
575 ID KY 0.000107608 0.991723
576 ID LA 0.359274 0.54891
577 ID MA 1.06355 0.302406
578 ID MD 0.175 0.675706
579 ID ME 1.07115 0.300685
580 ID MI 0.295597 0.586656
581 ID MN 0.134311 0.714003
582 ID MO 0.0574495 0.810574
583 ID MS 0.00405093 0.949251
584 ID MT 0.00164942 0.967604
585 ID NC 0.00422606 0.948168
586 ID ND 0.118243 0.730948
587 ID NE 0.118243 0.730948
588 ID NH 0.0120192 0.912701
589 ID NJ 0.00405093 0.949251
590 ID NM 0.00117783 0.972622
591 ID NV 0.543658 0.460921
592 ID NY 0.0679506 0.794344
593 ID OH 0.0518092 0.819944
594 ID OK 0.0371063 0.847249
595 ID OR 0.0341387 0.853412
596 ID PA 0.2 0.654721
597 ID RI 0.0316894 0.858711
598 ID SC 0.374123 0.540765
599 ID SD 0.0859669 0.769368
600 ID TN 0.138889 0.709388
601 ID TX 1.056 0.30413
602 ID UT 0.0316894 0.858711
603 ID VA 0.0859669 0.769368
604 ID VT 0.229796 0.631675
605 ID WA 1.21738 0.269876
606 ID WI 0.0518092 0.819944
607 ID WV 0.000288391 0.986451
608 ID WY 0.10101 0.750621
609 IL IN 0.0207092 0.885574
610 IL KS 0.871972 0.35041
611 IL KY 0.0156094 0.900573
612 IL LA 0.0129808 0.909291
613 IL MA 0.984375 0.321121
614 IL MD 0.225 0.635256
615 IL ME 0.983103 0.321434
616 IL MI 0.338068 0.560946
617 IL MN 0.265179 0.606585
618 IL MO 0.103125 0.748111
619 IL MS 0.0290323 0.864705
620 IL MT 0.00664336 0.935039
621 IL NC 0.0028326 0.957555
622 IL ND 0.0351562 0.851269
623 IL NE 0.0351562 0.851269
624 IL NH 0 1
625 IL NJ 0.0290323 0.864705
626 IL NM 0.248292 0.61828
627 IL NV 0.554187 0.456612
628 IL NY 0.116306 0.733076
629 IL OH 0 1
630 IL OK 0.00546329 0.941079
631 IL OR 0.00254002 0.959805
632 IL PA 0.25 0.617075
633 IL RI 0.0719436 0.788528
634 IL SC 0.409226 0.522363
635 IL SD 0.0207092 0.885574
636 IL TN 0 1
637 IL TX 0.987429 0.320372
638 IL UT 0.0719436 0.788528
639 IL VA 0.0207092 0.885574
640 IL VT 0.277127 0.59859
641 IL WA 1.11092 0.291882
642 IL WI 0 1
643 IL WV 0.0180921 0.893002
644 IL WY 0.311584 0.57671
645 IN KS 0.844449 0.358128
646 IN KY 0.0142524 0.904972
647 IN LA 0.709124 0.399735
648 IN MA 0.987278 0.320408
649 IN MD 0.10377 0.747351
650 IN ME 0.998951 0.317564
651 IN MI 0.21099 0.645992
652 IN MN 0.0116791 0.91394
653 IN MO 0.0172346 0.895553
654 IN MS 0.00372509 0.951333
655 IN MT 0.0307274 0.86085
656 IN NC 0.0360412 0.84943
657 IN ND 0.145456 0.702916
658 IN NE 0.145456 0.702916
659 IN NH 0.0475543 0.827375
660 IN NJ 0.00372509 0.951333
661 IN NM 0.0746435 0.784692
662 IN NV 0.449687 0.502484
663 IN NY 0.0211053 0.884492
664 IN OH 0.00253408 0.959852
665 IN OK 0.0939907 0.759164
666 IN OR 0.102285 0.749105
667 IN PA 0.127433 0.721108
668 IN RI 0.00409559 0.948973
669 IN SC 0.284679 0.593651
670 IN SD 0 1
671 IN TN 0.0207092 0.885574
672 IN TX 0.975183 0.323391
673 IN UT 0.00409559 0.948973
674 IN VA 0 1
675 IN VT 0.151316 0.697281
676 IN WA 1.15 0.283549
677 IN WI 0.00253408 0.959852
678 IN WV 0.0143594 0.904617
679 IN WY 0.00277915 0.957957
680 KS KY 0.4662 0.49474
681 KS LA 3.33622 0.0677702
682 KS MA 0.0510417 0.821261
683 KS MD 0.0629514 0.801891
684 KS ME 0.0672462 0.795389
685 KS MI 0.00615476 0.937468
686 KS MN 1.44085 0.230002
687 KS MO 0.131087 0.717307
688 KS MS 0.369698 0.543169
689 KS MT 0.569247 0.450558
690 KS NC 0.35309 0.552369
691 KS ND 0.982565 0.321566
692 KS NE 0.982565 0.321566
693 KS NH 0.117583 0.731671
694 KS NJ 0.369698 0.543169
695 KS NM 2.91972 0.0875028
696 KS NV 0.00737269 0.931574
697 KS NY 0.324956 0.568644
698 KS OH 1.9832 0.159054
699 KS OK 0.216823 0.641471
700 KS OR 0.58437 0.444604
701 KS PA 0.00549716 0.940897
702 KS RI 0.200743 0.654122
703 KS SC 0.000214753 0.988308
704 KS SD 0.844449 0.358128
705 KS TN 0.871972 0.35041
706 KS TX 0.0338041 0.854124
707 KS UT 0.200743 0.654122
708 KS VA 0.844449 0.358128
709 KS VT 0.0278261 0.867518
710 KS WA 0.0175374 0.894645
711 KS WI 1.9832 0.159054
712 KS WV 0.655797 0.418048
713 KS WY 1.6192 0.203203
714 KY LA 1.18519 0.276303
715 KY MA 0.580312 0.44619
716 KY MD 0.00459375 0.945963
717 KY ME 0.582054 0.445509
718 KY MI 0.0455383 0.831017
719 KY MN 0.0441746 0.833529
720 KY MO 0.0141228 0.905403
721 KY MS 0.104635 0.746336
722 KY MT 0.105433 0.745405
723 KY NC 0.157724 0.691261
724 KY ND 0.00340278 0.953483
725 KY NE 0.00340278 0.953483
726 KY NH 0.180524 0.670923
727 KY NJ 0.104635 0.746336
728 KY NM 0.393362 0.530537
729 KY NV 0.182232 0.669462
730 KY NY 0.0177222 0.894095
731 KY OH 0.146319 0.702078
732 KY OK 0.175994 0.674839
733 KY OR 0.062906 0.801961
734 KY PA 0.0144187 0.904422
735 KY RI 0.0362223 0.849057
736 KY SC 0.085251 0.770304
737 KY SD 0.0142524 0.904972
738 KY TN 0.0156094 0.900573
739 KY TX 0.580179 0.446242
740 KY UT 0.0362223 0.849057
741 KY VA 0.0142524 0.904972
742 KY VT 0.0192642 0.889612
743 KY WA 0.713975 0.398127
744 KY WI 0.146319 0.702078
745 KY WV 0.107246 0.743301
746 KY WY 0.0730358 0.786967
747 LA MA 3.53546 0.0600696
748 LA MD 1.9629 0.161203
749 LA ME 3.54759 0.059632
750 LA MI 2.23699 0.134743
751 LA MN 0.242017 0.622753
752 LA MO 1.575 0.209482
753 LA MS 1.26924 0.259909
754 LA MT 1.10829 0.292455
755 LA NC 1.0057 0.315936
756 LA ND 0.652257 0.419307
757 LA NE 0.652257 0.419307
758 LA NH 0.81675 0.366132
759 LA NJ 1.26924 0.259909
760 LA NM 0.0770662 0.781313
761 LA NV 2.71941 0.0991345
762 LA NY 1.67619 0.195431
763 LA OH 0.161402 0.687869
764 LA OK 0.706903 0.400474
765 LA OR 0.841558 0.358951
766 LA PA 1.99375 0.157949
767 LA RI 1.46288 0.226472
768 LA SC 2.39558 0.121679
769 LA SD 0.709124 0.399735
770 LA TN 0.0129808 0.909291
771 LA TX 3.52431 0.0604752
772 LA UT 1.46288 0.226472
773 LA VA 0.709124 0.399735
774 LA VT 2.09342 0.147934
775 LA WA 3.75406 0.0526793
776 LA WI 0.161402 0.687869
777 LA WV 1.23666 0.266115
778 LA WY 0.211829 0.645338
779 MA MD 0.111111 0.738883
780 MA ME 0.0674818 0.795039
781 MA MI 0.0258374 0.872298
782 MA MN 1.61272 0.204109
783 MA MO 0.19391 0.659682
784 MA MS 0.471744 0.492186
785 MA MT 0.695005 0.404467
786 MA NC 0.445845 0.504315
787 MA ND 1.13684 0.286321
788 MA NE 1.13684 0.286321
789 MA NH 0.166667 0.683091
790 MA NJ 0.471744 0.492186
791 MA NM 3.17525 0.0747618
792 MA NV 0 1
793 MA NY 0.430591 0.511699
794 MA OH 2.18803 0.139087
795 MA OK 0.282474 0.595084
796 MA OR 0.703125 0.401736
797 MA PA 0.0230938 0.879213
798 MA RI 0.277204 0.59854
799 MA SC 0.00456575 0.946128
800 MA SD 0.987278 0.320408
801 MA TN 0.984375 0.321121
802 MA TX 0.0736973 0.786028
803 MA UT 0.277204 0.59854
804 MA VA 0.987278 0.320408
805 MA VT 0.0620848 0.803231
806 MA WA 0.0501747 0.82276
807 MA WI 2.18803 0.139087
808 MA WV 0.797664 0.371793
809 MA WY 1.80234 0.17943
810 MD ME 0.103175 0.748053
811 MD MI 0.0408986 0.839734
812 MD MN 0.39952 0.527337
813 MD MO 0.0502232 0.822675
814 MD MS 0 1
815 MD MT 0.0175891 0.894491
816 MD NC 0.000757754 0.978039
817 MD ND 0.15 0.698535
818 MD NE 0.15 0.698535
819 MD NH 0.0221675 0.881642
820 MD NJ 0 1
821 MD NM 1.17541 0.278293
822 MD NV 0 1
823 MD NY 0.00800058 0.928727
824 MD OH 0.66899 0.413404
825 MD OK 0.0012706 0.971565
826 MD OR 0.0332559 0.855299
827 MD PA 0.0736532 0.78609
828 MD RI 0.0211916 0.884258
829 MD SC 0.0143495 0.90465
830 MD SD 0.10377 0.747351
831 MD TN 0.225 0.635256
832 MD TX 0.122222 0.726637
833 MD UT 0.0211916 0.884258
834 MD VA 0.10377 0.747351
835 MD VT 0.0787591 0.778986
836 MD WA 0.176422 0.674466
837 MD WI 0.66899 0.413404
838 MD WV 0.0228261 0.87991
839 MD WY 0.48539 0.485991
840 ME MI 0.0204188 0.886374
841 ME MN 1.63595 0.200882
842 ME MO 0.186233 0.66607
843 ME MS 0.470089 0.492946
844 ME MT 0.700697 0.40255
845 ME NC 0.441785 0.506262
846 ME ND 1.15368 0.28278
847 ME NE 1.15368 0.28278
848 ME NH 0.15873 0.690328
849 ME NJ 0.470089 0.492946
850 ME NM 3.24941 0.071449
851 ME NV 0.000581812 0.980756
852 ME NY 0.430442 0.511772
853 ME OH 2.22931 0.135414
854 ME OK 0.274781 0.600143
855 ME OR 0.705791 0.400844
856 ME PA 0.0181197 0.892921
857 ME RI 0.270741 0.602835
858 ME SC 0.00218127 0.962749
859 ME SD 0.998951 0.317564
860 ME TN 0.983103 0.321434
861 ME TX 0.0460984 0.829997
862 ME UT 0.270741 0.602835
863 ME VA 0.998951 0.317564
864 ME VT 0.0548657 0.814803
865 ME WA 0.0267275 0.870136
866 ME WI 2.22931 0.135414
867 ME WV 0.810586 0.367947
868 ME WY 1.83137 0.175966
869 MI MN 0.576262 0.447781
870 MI MO 0.00615928 0.937445
871 MI MS 0.0211916 0.884258
872 MI MT 0.077461 0.780768
873 MI NC 0.0268436 0.869857
874 MI ND 0.275406 0.599728
875 MI NE 0.275406 0.599728
876 MI NH 0.000681417 0.979174
877 MI NJ 0.0211916 0.884258
878 MI NM 1.47942 0.223865
879 MI NV 0.027381 0.868573
880 MI NY 0.00473485 0.945141
881 MI OH 0.896423 0.343743
882 MI OK 0.0076486 0.930309
883 MI OR 0.101799 0.749681
884 MI PA 0.117302 0.731979
885 MI RI 0 1
886 MI SC 0.0767857 0.781702
887 MI SD 0.21099 0.645992
888 MI TN 0.338068 0.560946
889 MI TX 0.033871 0.853982
890 MI UT 0 1
891 MI VA 0.21099 0.645992
892 MI VT 0.0778162 0.780279
893 MI WA 0.0611413 0.804701
894 MI WI 0.896423 0.343743
895 MI WV 0.0922198 0.761374
896 MI WY 0.679537 0.409746
897 MN MO 0.194444 0.659243
898 MN MS 0.0695398 0.792008
899 MN MT 0.0252818 0.873667
900 MN NC 0.0143215 0.904743
901 MN ND 0.0251116 0.874089
902 MN NE 0.0251116 0.874089
903 MN NH 0.00254002 0.959805
904 MN NJ 0.0695398 0.792008
905 MN NM 0.0361426 0.849221
906 MN NV 0.929129 0.335089
907 MN NY 0.23059 0.631087
908 MN OH 0.14822 0.700242
909 MN OK 0.00103785 0.9743
910 MN OR 0 1
911 MN PA 0.42325 0.51532
912 MN RI 0.143488 0.704837
913 MN SC 0.685714 0.407626
914 MN SD 0.0116791 0.91394
915 MN TN 0.265179 0.606585
916 MN TX 1.5864 0.207841
917 MN UT 0.143488 0.704837
918 MN VA 0.0116791 0.91394
919 MN VT 0.481514 0.487737
920 MN WA 1.80488 0.179123
921 MN WI 0.14822 0.700242
922 MN WV 0.0514976 0.820478
923 MN WY 0.226867 0.633857
924 MO MS 0.0332559 0.855299
925 MO MT 0.00337977 0.95364
926 MO NC 0.0212653 0.884059
927 MO ND 0.0370066 0.847452
928 MO NE 0.0370066 0.847452
929 MO NH 0.0891204 0.765298
930 MO NJ 0.0332559 0.855299
931 MO NM 0.746691 0.387526
932 MO NV 0.0143495 0.90465
933 MO NY 0.0780992 0.77989
934 MO OH 0.378606 0.53835
935 MO OK 0.0363248 0.848846
936 MO OR 0 1
937 MO PA 0.0234015 0.878418
938 MO RI 0.101799 0.749681
939 MO SC 0 1
940 MO SD 0.0172346 0.895553
941 MO TN 0.103125 0.748111
942 MO TX 0.204764 0.650903
943 MO UT 0.101799 0.749681
944 MO VA 0.0172346 0.895553
945 MO VT 0.023425 0.878357
946 MO WA 0.273292 0.601132
947 MO WI 0.378606 0.53835
948 MO WV 0.00243976 0.960605
949 MO WY 0.251655 0.615912
950 MS MT 0.0689198 0.792916
951 MS NC 0.114599 0.734968
952 MS ND 0 1
953 MS NE 0 1
954 MS NH 0 1
955 MS NJ 0 1
956 MS NM 0.465065 0.495266
957 MS NV 0.126316 0.722283
958 MS NY 0.0416888 0.838214
959 MS OH 0.190476 0.662521
960 MS OK 0.134051 0.714268
961 MS OR 0.0370066 0.847452
962 MS PA 0.00321691 0.95477
963 MS RI 0.0644812 0.799549
964 MS SC 0.0502232 0.822675
965 MS SD 0.00372509 0.951333
966 MS TN 0.0290323 0.864705
967 MS TX 0.475588 0.490427
968 MS UT 0.0644812 0.799549
969 MS VA 0.00372509 0.951333
970 MS VT 0.00504148 0.943395
971 MS WA 0.592628 0.441405
972 MS WI 0.190476 0.662521
973 MS WV 0.0689519 0.792869
974 MS WY 0.104908 0.746017
975 MT NC 0.143917 0.704418
976 MT ND 0.0130441 0.909071
977 MT NE 0.0130441 0.909071
978 MT NH 0.142728 0.705584
979 MT NJ 0.0689198 0.792916
980 MT NM 0.330544 0.565339
981 MT NV 0.245393 0.620338
982 MT NY 0.00424516 0.948051
983 MT OH 0.109569 0.740635
984 MT OK 0 1
985 MT OR 0.0941506 0.758965
986 MT PA 0.0326448 0.85662
987 MT RI 0.0167832 0.896922
988 MT SC 0.127422 0.72112
989 MT SD 0.0307274 0.86085
990 MT TN 0.00664336 0.935039
991 MT TX 0.690246 0.406081
992 MT UT 0.0167832 0.896922
993 MT VA 0.0307274 0.86085
994 MT VT 0.041482 0.83861
995 MT WA 0.84101 0.359108
996 MT WI 0.109569 0.740635
997 MT WV 0.115237 0.734258
998 MT WY 0.047952 0.826666
999 NC ND 0.0179464 0.893431
1000 NC NE 0.0179464 0.893431
1001 NC NH 0.190612 0.662407
1002 NC NJ 0.114599 0.734968
1003 NC NM 0.253239 0.614803
1004 NC NV 0.129506 0.718945
1005 NC NY 0.0259305 0.87207
1006 NC OH 0.0775479 0.780648
1007 NC OK 0.215924 0.642163
1008 NC OR 0.0963192 0.756292
1009 NC PA 0.00631092 0.936682
1010 NC RI 0.045437 0.831203
1011 NC SC 0.056391 0.812294
1012 NC SD 0.0360412 0.84943
1013 NC TN 0.0028326 0.957555
1014 NC TX 0.452434 0.501181
1015 NC UT 0.045437 0.831203
1016 NC VA 0.0360412 0.84943
1017 NC VT 0.00883362 0.925119
1018 NC WA 0.555335 0.456146
1019 NC WI 0.0775479 0.780648
1020 NC WV 0.146366 0.702033
1021 NC WY 0.0306519 0.861019
1022 ND NE 0 1
1023 ND NH 0.0290323 0.864705
1024 ND NJ 0 1
1025 ND NM 0.0495764 0.823802
1026 ND NV 0.547009 0.459543
1027 ND NY 0.0453559 0.831351
1028 ND OH 0 1
1029 ND OK 0.066892 0.795917
1030 ND OR 0.0695398 0.792008
1031 ND PA 0.175 0.675706
1032 ND RI 0.0156371 0.900485
1033 ND SC 0.359028 0.549046
1034 ND SD 0.145456 0.702916
1035 ND TN 0.0351562 0.851269
1036 ND TX 1.11862 0.290215
1037 ND UT 0.0156371 0.900485
1038 ND VA 0.145456 0.702916
1039 ND VT 0.206381 0.649619
1040 ND WA 1.31175 0.252078
1041 ND WI 0 1
1042 ND WV 0.00303819 0.956043
1043 ND WY 0.0106245 0.917903
1044 NE NH 0.0290323 0.864705
1045 NE NJ 0 1
1046 NE NM 0.0495764 0.823802
1047 NE NV 0.547009 0.459543
1048 NE NY 0.0453559 0.831351
1049 NE OH 0 1
1050 NE OK 0.066892 0.795917
1051 NE OR 0.0695398 0.792008
1052 NE PA 0.175 0.675706
1053 NE RI 0.0156371 0.900485
1054 NE SC 0.359028 0.549046
1055 NE SD 0.145456 0.702916
1056 NE TN 0.0351562 0.851269
1057 NE TX 1.11862 0.290215
1058 NE UT 0.0156371 0.900485
1059 NE VA 0.145456 0.702916
1060 NE VT 0.206381 0.649619
1061 NE WA 1.31175 0.252078
1062 NE WI 0 1
1063 NE WV 0.00303819 0.956043
1064 NE WY 0.0106245 0.917903
1065 NH NJ 0 1
1066 NH NM 0.145081 0.703281
1067 NH NV 0.0200893 0.887288
1068 NH NY 0.104519 0.746473
1069 NH OH 0.0351562 0.851269
1070 NH OK 0.210337 0.646504
1071 NH OR 0.103125 0.748111
1072 NH PA 0.00868056 0.925769
1073 NH RI 0.129554 0.718894
1074 NH SC 0.00161892 0.967905
1075 NH SD 0.0475543 0.827375
1076 NH TN 0 1
1077 NH TX 0.177778 0.67329
1078 NH UT 0.129554 0.718894
1079 NH VA 0.0475543 0.827375
1080 NH VT 0.00792572 0.929061
1081 NH WA 0.227746 0.6332
1082 NH WI 0.0351562 0.851269
1083 NH WV 0.14334 0.704983
1084 NH WY 0.00965909 0.921709
1085 NJ NM 0.465065 0.495266
1086 NJ NV 0.126316 0.722283
1087 NJ NY 0.0416888 0.838214
1088 NJ OH 0.190476 0.662521
1089 NJ OK 0.134051 0.714268
1090 NJ OR 0.0370066 0.847452
1091 NJ PA 0.00321691 0.95477
1092 NJ RI 0.0644812 0.799549
1093 NJ SC 0.0502232 0.822675
1094 NJ SD 0.00372509 0.951333
1095 NJ TN 0.0290323 0.864705
1096 NJ TX 0.475588 0.490427
1097 NJ UT 0.0644812 0.799549
1098 NJ VA 0.00372509 0.951333
1099 NJ VT 0.00504148 0.943395
1100 NJ WA 0.592628 0.441405
1101 NJ WI 0.190476 0.662521
1102 NJ WV 0.0689519 0.792869
1103 NJ WY 0.104908 0.746017
1104 NM NV 2.09416 0.147863
1105 NM NY 0.889155 0.345706
1106 NM OH 0.105774 0.745008
1107 NM OK 0.0886849 0.765856
1108 NM OR 0.145959 0.702428
1109 NM PA 1.16839 0.279732
1110 NM RI 0.640165 0.423651
1111 NM SC 1.65949 0.197672
1112 NM SD 0.0746435 0.784692
1113 NM TN 0.248292 0.61828
1114 NM TX 3.08832 0.0788561
1115 NM UT 0.640165 0.423651
1116 NM VA 0.0746435 0.784692
1117 NM VT 1.3189 0.250789
1118 NM WA 3.45708 0.0629815
1119 NM WI 0.105774 0.745008
1120 NM WV 0.443479 0.505448
1121 NM WY 0.0562325 0.812553
1122 NV NY 0.0866635 0.768462
1123 NV OH 1.35 0.245278
1124 NV OK 0.0676013 0.794862
1125 NV OR 0.273438 0.601035
1126 NV PA 0.0246094 0.875344
1127 NV RI 0.0408986 0.839734
1128 NV SC 0.0649947 0.798769
1129 NV SD 0.449687 0.502484
1130 NV TN 0.554187 0.456612
1131 NV TX 0.000954861 0.975349
1132 NV UT 0.0408986 0.839734
1133 NV VA 0.449687 0.502484
1134 NV VT 0.00650413 0.935722
1135 NV WA 0.00813885 0.928116
1136 NV WI 1.35 0.245278
1137 NV WV 0.285185 0.593323
1138 NV WY 1.06638 0.301766
1139 NY OH 0.449857 0.502403
1140 NY OK 0.0426788 0.836331
1141 NY OR 0 1
1142 NY PA 0.000471175 0.982682
1143 NY RI 0 1
1144 NY SC 0.0237226 0.877593
1145 NY SD 0.0211053 0.884492
1146 NY TN 0.116306 0.733076
1147 NY TX 0.432894 0.510572
1148 NY UT 0 1
1149 NY VA 0.0211053 0.884492
1150 NY VT 0.000149053 0.990259
1151 NY WA 0.557649 0.455209
1152 NY WI 0.449857 0.502403
1153 NY WV 0.00313465 0.955351
1154 NY WY 0.298648 0.584731
1155 OH OK 0.0110055 0.91645
1156 OH OR 0.0251116 0.874089
1157 OH PA 0.684606 0.408005
1158 OH RI 0.305287 0.580587
1159 OH SC 1.03392 0.30924
1160 OH SD 0.00253408 0.959852
1161 OH TN 0 1
1162 OH TX 2.14016 0.143487
1163 OH UT 0.305287 0.580587
1164 OH VA 0.00253408 0.959852
1165 OH VT 0.775503 0.37852
1166 OH WA 2.41549 0.12014
1167 OH WI 0 1
1168 OH WV 0.166667 0.683091
1169 OH WY 0.187207 0.665252
1170 OK OR 0.168347 0.681585
1171 OK PA 0.000220798 0.988144
1172 OK RI 0.0634746 0.801086
1173 OK SC 0.0237223 0.877594
1174 OK SD 0.0939907 0.759164
1175 OK TN 0.00546329 0.941079
1176 OK TX 0.293351 0.588081
1177 OK UT 0.0634746 0.801086
1178 OK VA 0.0939907 0.759164
1179 OK VT 0.00059311 0.98057
1180 OK WA 0.361204 0.547838
1181 OK WI 0.0110055 0.91645
1182 OK WV 0.187981 0.664602
1183 OK WY 0.000246729 0.987468
1184 OR PA 0.0507813 0.821709
1185 OR RI 0.00452441 0.946372
1186 OR SC 0.154412 0.694354
1187 OR SD 0.102285 0.749105
1188 OR TN 0.00254002 0.959805
1189 OR TX 0.701722 0.402206
1190 OR UT 0.00452441 0.946372
1191 OR VA 0.102285 0.749105
1192 OR VT 0.0619968 0.803367
1193 OR WA 0.840239 0.359329
1194 OR WI 0.0251116 0.874089
1195 OR WV 0.0670935 0.795617
1196 OR WY 0.00306163 0.955874
1197 PA RI 0.00631313 0.936671
1198 PA SC 0.0696429 0.791857
1199 PA SD 0.127433 0.721108
1200 PA TN 0.25 0.617075
1201 PA TX 0.0305357 0.86128
1202 PA UT 0.00631313 0.936671
1203 PA VA 0.127433 0.721108
1204 PA VT 0.117689 0.731555
1205 PA WA 0.0546937 0.815088
1206 PA WI 0.684606 0.408005
1207 PA WV 0.0397565 0.841957
1208 PA WY 0.507031 0.476427
1209 RI SC 0.00615928 0.937445
1210 RI SD 0.00409559 0.948973
1211 RI TN 0.0719436 0.788528
1212 RI TX 0.286662 0.592368
1213 RI UT 0 1
1214 RI VA 0.00409559 0.948973
1215 RI VT 0.0055583 0.94057
1216 RI WA 0.371009 0.542455
1217 RI WI 0.305287 0.580587
1218 RI WV 0.0153409 0.901427
1219 RI WY 0.192982 0.660446
1220 SC SD 0.284679 0.593651
1221 SC TN 0.409226 0.522363
1222 SC TX 0.00894841 0.924636
1223 SC UT 0.00615928 0.937445
1224 SC VA 0.284679 0.593651
1225 SC VT 0.0385824 0.844278
1226 SC WA 0.0237233 0.877591
1227 SC WI 1.03392 0.30924
1228 SC WV 0.14898 0.699512
1229 SC WY 0.798605 0.371511
1230 SD TN 0.0207092 0.885574
1231 SD TX 0.975183 0.323391
1232 SD UT 0.00409559 0.948973
1233 SD VA 0 1
1234 SD VT 0.151316 0.697281
1235 SD WA 1.15 0.283549
1236 SD WI 0.00253408 0.959852
1237 SD WV 0.0143594 0.904617
1238 SD WY 0.00277915 0.957957
1239 TN TX 0.987429 0.320372
1240 TN UT 0.0719436 0.788528
1241 TN VA 0.0207092 0.885574
1242 TN VT 0.277127 0.59859
1243 TN WA 1.11092 0.291882
1244 TN WI 0 1
1245 TN WV 0.0180921 0.893002
1246 TN WY 0.311584 0.57671
1247 TX UT 0.286662 0.592368
1248 TX VA 0.975183 0.323391
1249 TX VT 0.0722996 0.788018
1250 TX WA 0.0911413 0.762731
1251 TX WI 2.14016 0.143487
1252 TX WV 0.784756 0.37569
1253 TX WY 1.76907 0.183498
1254 UT VA 0.00409559 0.948973
1255 UT VT 0.0055583 0.94057
1256 UT WA 0.371009 0.542455
1257 UT WI 0.305287 0.580587
1258 UT WV 0.0153409 0.901427
1259 UT WY 0.192982 0.660446
1260 VA VT 0.151316 0.697281
1261 VA WA 1.15 0.283549
1262 VA WI 0.00253408 0.959852
1263 VA WV 0.0143594 0.904617
1264 VA WY 0.00277915 0.957957
1265 VT WA 0.112745 0.73704
1266 VT WI 0.775503 0.37852
1267 VT WV 0.0508567 0.821579
1268 VT WY 0.575806 0.447961
1269 WA WI 2.41549 0.12014
1270 WA WV 0.961945 0.326697
1271 WA WY 2.00655 0.156622
1272 WI WV 0.166667 0.683091
1273 WI WY 0.187207 0.665252
1274 WV WY 0.0841652 0.77173

In [133]:
sign_lvls_num = len(chi2_val.loc[chi2_val['p-value'] <= 0.05, :])
print('Num of significance lvls below 0.05: %d' % sign_lvls_num)


Num of significance lvls below 0.05: 0

Что если у нас мало данных, мы не хотим использовать аппроксимацию дискретного распределения непрерывным и использовать сомнительную поправку, предположения критерия xи-квадрат не выполняются, а проверить гипотезу о том, что данные принадлежат одному распределению, нужно?

В таком случае прибегают к так называемому точному критерию Фишера. Этот критерий не использует приближений и в точности вычисляет значение достигаемого уровня значимости используя комбинаторный подход.

Пусть у нас есть таблица сопряженности 2x2:

Группа 1 Группа 2 Σ

Воздействие 1 a b a+b

Воздействие 2 c d c+d

Σ a+c b+d n=a+b+c+d

Тогда вероятность получить именно такие a,b,c,d при фиксированных значениях сумм по строкам и по столбцам) задается выражением

p=(a+ba)(c+dc)(na+c)=(a+b)! (c+d)! (a+c)! (b+d)!a! b! c! d! n!.

В числителе этой дроби стоит суммарное количество способов выбрать a и c из a+b и c+d соответственно. А в знаменателе — количество способов выбрать число объектов, равное сумме элементов первого столбца a+c из общего количества рассматриваемых объектов n.

Чтобы посчитать достигаемый уровень значимости критерия Фишера, нужно перебрать все возможные значения a,b,c,d, в клетках этой таблицы так, чтобы построковые и постолбцовые суммы не изменились. Для каждого такого набора a,b,c,d нужно вычислить значение pi по формуле выше и просуммировать все такие значения pi, которые меньше или равны p, которое мы вычислили по наблюдаемым значениям a,b,c,d.

Понятно, что такой критерий вычислительно неудобен в силу большого количества факториалов в формуле выше. То есть даже при небольших выборках для вычисления значения этого критерия приходится оперировать очень большими числами. Поэтому данным критерием пользуются обычно только для таблиц 2x2, но сам критерий никак не ограничен количеством строк и столбцов, и его можно построить для любой таблицы n×m.

Посчитайте для каждой пары штатов, как и в первом задании, достигаемый уровень значимости с помощью точного критерия Фишера и сравните получившиеся значения с двумя другими подходами, описанными выше.

Точный критерий Фишера удобно вычислять с помощью функции scipy.stats.fisher_exact которая принимает на вход таблицу сопряженности 2x2.


In [103]:
fisher_val = pd.DataFrame(columns=['state 1', 'state 2', 'fisher_stat', 'p-value'])
i = 0
for st1, st2 in combinations(pt_states.index, 2):
    fisher_table = pt_states.loc[[st1, st2],:]
    fisher_val.loc[i, 'state 1'] = st1
    fisher_val.loc[i, 'state 2'] = st2
    fisher_stat = stats.fisher_exact(fisher_table.values)
    fisher_val.loc[i, 'fisher_stat'] = fisher_stat[0]
    fisher_val.loc[i, 'p-value'] = fisher_stat[1]
    i += 1

In [104]:
fisher_val


Out[104]:
state 1 state 2 fisher_stat p-value
0 AK AL 3.8 0.381063
1 AK AR 8.63636 0.0688616
2 AK AZ 2.23529 0.60499
3 AK CA 9.5 0.0639647
4 AK CO 5.58824 0.187034
5 AK CT 3.8 0.381063
6 AK DC 1.05556 1
7 AK DE 1.1875 1
8 AK FL 2.11111 1
9 AK GA 2 1
10 AK HI 1.58333 1
11 AK IA 2.92308 0.564553
12 AK ID 2.375 0.594595
13 AK IL 1.72727 1
14 AK IN 2.85 0.610485
15 AK KS 7.38889 0.0591944
16 AK KY 3.61905 0.362395
17 AK LA 0 1
18 AK MA 7.82353 0.0544144
19 AK MD 5 0.197694
20 AK ME 7.6 0.0608588
21 AK MI 5.58824 0.187034
22 AK MN 2 1
23 AK MO 4.47059 0.34334
24 AK MS 3.8 0.356174
25 AK MT 3.45455 0.369325
26 AK NC 3.5625 0.341649
27 AK ND 2.71429 0.613705
28 AK NE 2.71429 0.613705
29 AK NH 3.8 0.540323
... ... ... ... ...
1245 TN WV 2.03704 1
1246 TN WY 1.1 1
1247 TX UT 0.518519 0.476852
1248 TX VA 0.35 0.263379
1249 TX VT 0.648148 0.727907
1250 TX WA 1.02083 1
1251 TX WI 0.212121 0.114774
1252 TX WV 0.432099 0.298917
1253 TX WY 0.233333 0.122982
1254 UT VA 0.675 0.699497
1255 UT VT 1.25 1
1256 UT WA 1.96875 0.49077
1257 UT WI 0.409091 0.405181
1258 UT WV 0.833333 1
1259 UT WY 0.45 0.664034
1260 VA VT 1.85185 0.699497
1261 VA WA 2.91667 0.283666
1262 VA WI 0.606061 0.666172
1263 VA WV 1.23457 1
1264 VA WY 0.666667 1
1265 VT WA 1.575 0.73811
1266 VT WI 0.327273 0.244816
1267 VT WV 0.666667 0.725651
1268 VT WY 0.36 0.41402
1269 WA WI 0.207792 0.0722647
1270 WA WV 0.42328 0.207829
1271 WA WY 0.228571 0.134552
1272 WI WV 2.03704 0.686168
1273 WI WY 1.1 1
1274 WV WY 0.54 0.687305

1275 rows × 4 columns

Давайте попробуем применить полученные знания о разных видах корреляции и ее применимости на практике.

Рассмотрим пару признаков day_calls и mes_estim. Посчитайте корреляцию Пирсона между этими признаками на всех данных, ее значимость.


In [106]:
print('Pearson correlation: %.4f' % stats.pearsonr(churn.day_calls, churn.mes_estim)[0])
print('P-value: %.4f' % stats.pearsonr(churn.day_calls, churn.mes_estim)[1])


Pearson correlation: -0.0518
P-value: 0.0028

Еще раз рассмотрим пару признаков day_calls и mes_estim. Посчитайте корреляцию Спирмена между этими признаками на всех данных, ее значимость.


In [107]:
print('Spearman correlation: %.4f' % stats.spearmanr(churn.day_calls, churn.mes_estim)[0])
print('P-value: %.4f' % stats.spearmanr(churn.day_calls, churn.mes_estim)[1])


Spearman correlation: 0.0433
P-value: 0.0123

In [115]:
_ = plt.figure(figsize=(15,6))
_ = plt.subplot(121)
_ = sc.stats.probplot(churn.day_calls, dist="norm", plot=plt)
_ = plt.subplot(122)
_ = sc.stats.probplot(churn.mes_estim, dist="norm", plot=plt)



In [123]:
_ = plt.scatter(churn.day_calls, churn.mes_estim, alpha=0.2)
_ = plt.xlabel('day_calls')
_ = plt.ylabel('mes_estim')


Посчитайте значение коэффицента корреляции Крамера между двумя признаками: штатом (state) и оттоком пользователей (churn) для всех пользователей, которые находились в контрольной группе (treatment=1). Что можно сказать о достигаемом уровне значимости при проверке гипотезы о равенство нулю этого коэффициента?


In [124]:
def cramers_stat(confusion_matrix):
    chi2 = stats.chi2_contingency(confusion_matrix)[0]
    n = confusion_matrix.sum()
    return np.sqrt(chi2 / (n*(min(confusion_matrix.shape)-1)))

In [125]:
print('V Cramer stat value: %.4f' % cramers_stat(pt_states.values))


V Cramer stat value: 0.2004

In [269]:
print('p-value: %.4f' % stats.chi2_contingency(pt_states.values)[1])


p-value: 0.7098

Вы прослушали большой курс и к текущему моменту обладете достаточными знаниями, чтобы попытаться самостоятельно выбрать нужный метод / инструмент / статистический критерий и сделать правильное заключение.

В этой части задания вам нужно будет самостоятельно решить, с помощью каких методов можно провести анализ эффективности удержания (churn) с помощью раличных методов (treatment = 0, treatment = 2) относительно контрольной группы пользователей (treatment = 1).

Что можно сказать об этих двух методах (treatment = 0, treatment = 2)? Одинаковы ли они с точки зрения эффективности? Каким бы методом вы бы посоветовали воспользоваться компании?

Не забудьте про поправку на множественную проверку! И не пользуйтесь односторонними альтернативами, поскольку вы не знаете, к каким действительно последствиям приводят тестируемые методы (treatment = 0, treatment = 2)!


In [157]:
pt_states = pd.pivot_table(churn, values='account_length', index='state', columns=['treatment', 'churn'],
                               aggfunc=len, fill_value=0)
pt_states


Out[157]:
treatment 0 1 2
churn False True False True False True
state
AK 15 2 19 1 15 0
AL 22 1 25 5 25 2
AR 14 3 11 5 19 3
AZ 26 0 17 2 17 2
CA 10 3 10 5 5 1
CO 20 2 17 5 20 2
CT 22 3 25 5 15 4
DC 19 3 18 1 12 1
DE 18 4 16 1 18 4
FL 16 4 18 2 21 2
GA 11 5 19 2 16 1
HI 17 1 12 1 21 1
IA 13 1 13 2 15 0
ID 22 6 16 2 26 1
IL 25 2 11 1 17 2
IN 22 4 20 3 20 2
KS 21 2 18 7 18 4
KY 18 2 21 4 12 2
LA 11 1 15 0 21 3
MA 20 2 17 7 17 2
MD 11 6 19 5 23 6
ME 14 4 20 8 15 1
MI 22 6 17 5 18 5
MN 28 6 19 2 22 7
MO 22 1 17 4 17 2
MS 15 9 20 4 16 1
MT 19 6 22 4 13 4
NC 21 4 16 3 20 4
ND 17 2 21 3 18 1
NE 16 1 21 3 19 1
NH 20 3 10 2 17 4
NJ 12 7 20 4 18 7
NM 14 3 27 2 15 1
NV 11 3 18 6 23 5
NY 22 4 27 6 19 5
OH 25 3 22 2 21 5
OK 19 1 11 2 22 6
OR 18 7 18 3 31 1
PA 13 3 14 4 10 1
RI 15 1 18 4 26 1
SC 15 3 16 5 15 6
SD 19 2 20 3 13 3
TN 18 1 11 1 19 3
TX 26 7 14 6 14 5
UT 23 4 18 4 21 2
VA 22 2 20 3 30 0
VT 24 1 18 5 23 2
WA 20 4 16 7 16 3
WI 25 4 22 2 24 1
WV 37 2 27 5 32 3
WY 23 4 20 2 25 3

In [228]:
#proportions of churn = 1 for each treatment
props_churn = np.array([pt_states.loc[:, treat].loc[:, True].sum() / 
                        (pt_states.loc[:, treat].loc[:, False].sum() + pt_states.loc[:, treat].loc[:, True].sum())
                        for treat in range(3)])
for i, prop in enumerate(props_churn):
    print('Treatment #%d prop. of churn = 1: %.4f' % (i, prop))


Treatment #0 prop. of churn = 1: 0.1456
Treatment #1 prop. of churn = 1: 0.1641
Treatment #2 prop. of churn = 1: 0.1251

In [232]:
#wilson intervals for proportions
wilson_ints = np.array([proportion_confint(pt_states.loc[:, treat].loc[:, True].sum(),
                                           (pt_states.loc[:, treat].loc[:, False].sum() + pt_states.loc[:, treat].loc[:, True].sum()),
                                           method='wilson') for treat in range(3)])
for i, wils in enumerate(wilson_ints):
    print('Treatment #%d prop. of churn = 1: %s' % (i, str(wils)))


Treatment #0 prop. of churn = 1: [ 0.12628913  0.16736788]
Treatment #1 prop. of churn = 1: [ 0.14334707  0.18716506]
Treatment #2 prop. of churn = 1: [ 0.1068801   0.14594876]

In [237]:
def proportions_confint_diff_ind(sample1, sample2, alpha = 0.05):    
    z = stats.norm.ppf(1 - alpha / 2.)
    l1 = sample1.loc[:, False].sum() + sample1.loc[:, True].sum()
    l2 = sample2.loc[:, False].sum() + sample2.loc[:, True].sum()
    p1 = sample1.loc[:, True].sum() / l1
    p2 = sample2.loc[:, True].sum() / l2
    
    left_boundary = (p1 - p2) - z * np.sqrt(p1 * (1 - p1)/ l1 + p2 * (1 - p2)/ l2)
    right_boundary = (p1 - p2) + z * np.sqrt(p1 * (1 - p1)/ l1 + p2 * (1 - p2)/ l2)
    
    return (left_boundary, right_boundary)

In [257]:
def proportions_diff_z_stat_ind(sample1, sample2):
    l1 = sample1.loc[:, False].sum() + sample1.loc[:, True].sum()
    l2 = sample2.loc[:, False].sum() + sample2.loc[:, True].sum()
    p1 = sample1.loc[:, True].sum() / l1
    p2 = sample2.loc[:, True].sum() / l2
    P = (p1*l1 + p2*l2) / (l1 + l2)
    
    return (p1 - p2) / np.sqrt(P * (1 - P) * (1. / l1 + 1. / l2))

In [258]:
def proportions_diff_z_test(z_stat, alternative = 'two-sided'):
    if alternative not in ('two-sided', 'less', 'greater'):
        raise ValueError("alternative not recognized\n"
                         "should be 'two-sided', 'less' or 'greater'")
    
    if alternative == 'two-sided':
        return 2 * (1 - stats.norm.cdf(np.abs(z_stat)))
    
    if alternative == 'less':
        return stats.norm.cdf(z_stat)

    if alternative == 'greater':
        return 1 - stats.norm.cdf(z_stat)

In [261]:
p_val_table = np.empty((3, 3))
i = 0
for tr1, tr2 in combinations(range(3), 2):
    print('Treatments #%d and %d: ' % (tr1, tr2)),
    confint_diff = proportions_confint_diff_ind(pt_states.loc[:, tr1], pt_states.loc[:, tr2])
    print('[%.4f, %.4f], ' % confint_diff),
    p_val = proportions_diff_z_test(proportions_diff_z_stat_ind(pt_states.loc[:, tr1], pt_states.loc[:, tr2]))
    p_val_table[i, :] = tr1, tr2, p_val
    i += 1
    print('p-value: %.4f' % p_val)
p_val_table


Treatments #0 and 1:  [-0.0485, 0.0116],  p-value: 0.2283
Treatments #0 and 2:  [-0.0078, 0.0489],  p-value: 0.1564
Treatments #1 and 2:  [0.0096, 0.0683],  p-value: 0.0093
Out[261]:
array([[ 0.        ,  1.        ,  0.22833116],
       [ 0.        ,  2.        ,  0.15642469],
       [ 1.        ,  2.        ,  0.00934808]])

In [264]:
_, p_corrected, _, _ = multipletests(p_val_table[:,2], alpha = 0.05, method = 'fdr_bh') 
p_corrected


Out[264]:
array([ 0.22833116,  0.22833116,  0.02804425])